KLASIFIKASI ALFABET BAHASA ISYARAT INDONESIA (BISINDO) DENGAN MENGGUNAKAN ALGORITMA CONVOLUTIONAL NEURAL NETWORK

Abstract

Bahasa Isyarat Indonesia (BISINDO) adalah sistem komunikasi yang digunakan oleh komunitas penyandang tunarungu dan tunawicara di Indonesia. Namun, tidak semua masyarakat Indonesia memahami bahasa isyarat yang digunakan. Dengan perkembangan teknologi yang semakin pesat, memungkinkan adanya penerjemah secara real-time untuk membantu komunikasi antara komunitas tunawicara dan tunarungu dengan masyarakt umum.
Penelitian ini melakukan pendekatan klasifikasi BISINDO menggunakan algoritma Covolutional Neural Network (CNN) dengan memanfaatkan pustaka seperti MediaPipe untuk mendeteksi dan melacak tangan dalam video, kemudian mengekstrak fitur yang relevan dari setiap frame menggunakan OpenCV. Pra-pemrosesan data dilakukan dengan melakukan normalisasi dan augmentasi untuk meningkatkan keberagaman dan kualitas dataset. Dataset ini kemudian dilatih dengan menggunakan algoritma CNN. Model terdiri dari lapisan konvolusi, pooling, dan dense, kemudian menggunakan teknik dropout untuk mengurangi overfitting. Model CNN yang telah dilatih mencapai akurasi sekitar 90% dalam mengenali alfabet BISINDO.
Penelitian ini memberikan kontribusi penting untuk deteksi dan klasifikasi otomatis alfabet BISINDO dan membuka jalan bagi pengembangan sistem lebih lanjut untuk meningkatkan komunikasi dan inklusi sosial penyandang tunarungu dan tunawicara di masyarakat.