Electronic Theses and Dissertation

Bahasa isyarat merupakan sarana komunikasi bagi komunitas Tunarungu. Di Indonesia, salah satu bahasa isyarat yang digunakan adalah Bahasa Isyarat Indonesia (BISINDO), yang menggunakan kedua tangan untuk menyampaikan informasi. Namun, rendahnya pemahaman masyarakat umum terhadap bahasa isyarat dan komunitas Tunarungu masih menjadi hambatan dalam akses informasi dan komunikasi yang inklusif. Oleh karena itu, diperlukan solusi berbasis teknologi untuk pengenalan bahasa isyarat, baik sebagai alat bantu komunikasi maupun sebagai media edukasi. Penelitian ini membandingkan dua pendekatan dalam mengenali abjad BISINDO, yaitu pengolahan citra tangan menggunakan arsitektur MobileNetV2 dan representasi landmark tangan yang diproses oleh arsitektur Convolutional Neural Network satu dimensi (1D CNN). Evaluasi dilakukan dengan menggunakan metrik akurasi, F1-score (macro), balanced accuracy, Matthews Correlation Coefficient (MCC), dan PR-AUC (macro), serta mempertimbangkan efisiensi pelatihan dan waktu inferensi. Hasil menunjukkan bahwa MobileNetV2 memberikan performa terbaik dengan MCC sebesar 0,9872, F1-score (macro) 98,79%, dan PR-AUC (Macro) 99,57%, meskipun memiliki ukuran model yang besar (27,2 MB) dan waktu inferensi lebih lambat (12,35 detik). Sementara itu, model CNN berbasis landmark menunjukkan performa yang kompetitif dengan MCC 0,9515, F1-score (macro) 95,60%, dan PR-AUC 98,15%, serta memiliki ukuran model lebih kecil (5,8 MB) dan waktu inferensi sangat cepat (0,50 detik). Kedua model telah diimplementasikan dalam bentuk layanan API menggunakan framework FastAPI untuk mendukung inferensi secara real-time.

Sign language is the primary means of communication for the Deaf community. In Indonesia, one of the sign languages used is Indonesian Sign Language (BISINDO), which utilizes both hands to share information. However, the lack of public awareness of sign language and the Deaf community remains a barrier to inclusive communication and information access. Therefore, technology-based solutions for sign language recognition are needed, both as assistive communication tools and educational media. This study compares two approaches for recognizing the BISINDO alphabet, which are image-based hand recognition using the MobileNetV2 architecture, and landmark-based hand representation processed through a one-dimensional convolutional neural network (1D CNN). Evaluation metrics include accuracy, macro F1-score, balanced accuracy, Matthews Correlation Coefficient (MCC), and PR-AUC, along with considerations for training efficiency and inference time. The results show that MobileNetV2 achieves the highest performance, with an MCC of 0,9872, macro F1-score of 98.79%, and PR-AUC of 99.57%, despite having a large model size (27.2 MB) and slower inference time (12.35 seconds). Meanwhile, the landmark-based CNN model showed competitive performance with an MCC of 0,9515 macro F1-score of 95.60%, and PR-AUC of 98.15%, while maintaining a smaller model size (5.8 MB) and significantly faster inference time (0.50 seconds). Both models were deployed as API services using the FastAPI framework to support integration into real-time applications