Electronic Theses and Dissertation

Emosi memainkan peran penting dalam proses pembelajaran dan dapat mempengaruhi pencapaian akademis serta perkembangan mahasiswa. Pengenalan emosi dapat dilakukan menggunakan perangkat pengindraan non-kontak seperti kamera visual. Namun, pendekatan tersebut memiliki keterbatasan berupa kompleksitas pemrosesan citra, sensitivitas terhadap noise, dan isu privasi. Sebagai alternatif, kamera termal menawarkan pendekatan yang lebih aman dari sisi privasi. Penelitian ini bertujuan untuk mengembangkan dan menguji aplikasi mobile berbasis citra termal wajah untuk pengenalan emosi mahasiswa. Model deep learning dilatih untuk mengenali tujuh emosi dasar menggunakan dataset USTC-NVIE dengan kondisi pengambilan data terkontrol. Namun, pengujian eksperimen difokuskan pada tiga emosi, yaitu marah, senang, dan netral, sesuai ketersediaan stimulus yang mampu memicu respons emosional secara konsisten. Evaluasi model pada dataset USTC-NVIE menunjukkan akurasi sebesar 85% untuk model raw (.h5) dan 79% untuk model hasil konversi (.tflite), yang kemudian diintegrasikan ke dalam aplikasi mobile. Pengujian aplikasi pada kondisi nyata dilakukan menggunakan citra termal primer yang diambil dengan kamera CAT S62 Pro terhadap 10 responden. Dari 28 citra yang memenuhi kriteria kelayakan, aplikasi menghasilkan akurasi sebesar 39%. Perbedaan nilai akurasi ini menunjukkan penurunan performa model ketika diterapkan pada domain data yang berbeda dari dataset pelatihan yang dipengaruhi oleh perbedaan karakteristik kamera, variasi pose dan orientasi wajah, serta efektivitas stimulus emosi. Meskipun demikian, aplikasi mampu beroperasi secara fungsional dalam mengenali tujuh kategori emosi. Penelitian selanjutnya disarankan untuk mengumpulkan dataset primer yang lebih representatif dan melakukan penyesuaian model guna meningkatkan performa sistem pada kondisi nyata.

Emotions play an important role in the learning process and can influence student’s academic achievement and development. Emotion recognition can be performed using non-contact sensing devices such as visual cameras. However, these approaches have limitations, including image processing complexity, sensitivity to noise, and privacy concerns. As an alternative, thermal cameras offer a more privacy-preserving approach. This study aims to develop and evaluate a mobile application for student emotion recognition based on facial thermal images. A deep learning model was trained to recognize seven basic emotions using the USTC-NVIE dataset under controlled conditions. Experimental testing was focused on three emotions (anger, happiness, and neutral) due to the availability of stimuli capable of eliciting consistent emotional responses. Model evaluation on the USTC-NVIE dataset achieved an accuracy of 85% for the raw model (.h5) and 79% for the converted model (.tflite), which was then integrated into the mobile application. Real-world testing was conducted using primary thermal images captured with a CAT S62 Pro camera from 10 respondents. Of the 28 valid images, the application achieved an accuracy of 39%. This performance degradation indicates reduced model generalization when applied to a different data domain, influenced by camera characteristics, facial pose variations, and stimulus effectiveness. Nevertheless, the application functioned properly in recognizing seven emotion categories. Future work is recommended to collect a more representative primary dataset and to improve model performance under real-world conditions.