YourAble

User Interface For Blind User
YourAble
User Interface For Deaf User

Inspirasi

Tragedi selalu terjadi di waktu yang tidak terduga. Mereka yang tidak beruntung mengalami kecelakaan harus melalui kesulitan dalam menerima dan memulihkan kehidupan sehari-hari, terutama kehilangan indera pendengaran dan penglihatan.

Sama seperti kehilangan yang signifikan lainnya, para penyandang disabilitas juga membutuhkan penyesuaian mental. Mereka yang baru saja mengalami disabilitas dapat mengalami depresi karena tidak dapat melakukan aktivitas normal seperti sebelumnya.

Tim kami telah mengembangkan solusi berbasis AI yang dapat digunakan secara luas untuk membantu mereka yang sedang dalam masa pemulihan dengan aplikasi YourAble.

Fungsi

YourAble berfungsi sebagai pendamping penting bagi individu yang baru saja mengalami kehilangan pendengaran dan penglihatan. Aplikasi ini menggunakan AI untuk memberikan bantuan suara dan visual, sehingga pengguna dapat: Untuk Tunarungu:

Name Alert: Memberitahukan pengguna ketika nama mereka dipanggil.
Multi person conversation: Memfasilitasi komunikasi antara dua individu.
Danger Awareness: Memperingatkan pengguna akan potensi bahaya.
Motivation: Memberikan dukungan motivasi.

Untuk Tunanetra:

Document/book Scanning: Memindai dokumen menggunakan OCR (Optical Character Recognition) dan OpenCV.
Text-to-Speech: Mengubah teks yang dipindai menjadi audio agar mudah didengarkan.
Motivation: Memberikan dukungan motivasi.

Cara kami membuatnya

Kami menggunakan Figma untuk membuat desain UI dari aplikasi YourAble. Elemen-elemen pada Figma dipindahkan ke Android Studio dalam file XML, tempat tampilan aplikasi kami nantinya akan diatur. Setelah itu, kami mengatur elemen-elemen sesuai dengan desain Figma. Kami menggunakan Java sebagai bahasa backend yang mengatur fungsi dari elemen-elemen tersebut. Selain itu, kami juga menerapkan speech-to-text untuk tunarungu.

Pada fitur name alert, aplikasi akan mendeteksi jika ada seseorang yang memanggil pengguna tunarungu, maka ponsel akan bergetar. Sedangkan pada fitur danger awareness, ponsel juga akan bergetar (dengan getaran yang berbeda) ketika mendeteksi suara dengan desibel tinggi (seperti alarm, klakson, dll) yang menandakan adanya bahaya. Untuk fitur multi-person conversation, aplikasi menggunakan speech-to-text ketika pengguna tunarungu mengobrol dengan seseorang, mendeteksi suara orang tersebut, dan mengkonversinya menjadi teks seperti obrolan pada aplikasi chat.

Untuk pengguna tunanetra, kami menggunakan OCR (Optical Character Recognition) dan OpenCV untuk fitur document scanning. Setelah dokumen discan, pengguna tunanetra dapat mendengarkan tulisan hasil scan tersebut. Selain itu, fitur motivation juga tersedia untuk kedua pengguna, memungkinkan mereka saling memberikan motivasi. Motivasi yang dikirim akan tersimpan pada Firebase. Kami juga menggunakan model NLP untuk mendeteksi jika ada kata-kata yang tidak menyenangkan.

Tantangan

Tantangan dari membuat aplikasi ini adalah ada beberapa hal yang harus kami pahami lagi walaupun sudah mempelajarinya sebelumnya. Hal ini karena ada beberapa error yang harus kami selesaikan. Selain itu, karena kami banyak menggunakan teknologi deteksi sehingga butuh waktu untuk melakukan trial and error. Kurangnya teknologi yang tersedia pada android studio juga merupakan suatu tantangan. Hal ini karena teknologi yang tersedia biasanya lebih banyak untuk desktop. Selain itu, keterbatasan waktu juga membuat hasilnya belum sesuai harapan kami. Namun, tentu saja kami sudah berusaha semaksimal mungkin untuk membuat aplikasi ini.

Rencana Berikutnya untuk YourAble

Kami harap aplikasi ini dapat membantu untuk masyarakat yang memang baru saja mengalami musibah yang mengakibatkan gangguan terhadap pendengaran atau penglihatan. Kami ingin mereka menjadikan aplikasi kamu sebagai pemandu yang dapat membantu mereka berdaptasi dengan keadaan mereka sekarang. Selain itu, harapannya para pengguna bisa menjadi motivasi kami untuk terus mengembangkan aplikasi ini, bahkan menhasilkan produk - produk yang dapat berguna di masyarkat.