Electronic Theses and Dissertation

Rasa sakit (pain) biasanya dinilai berdasarkan laporan dari pasien sendiri. namun, rasa sakit yang dilaporkan sendiri sulit untuk ditafsirkan dan mungkin cacat/tidak sesuai dalam beberapa keadaan (misalnya, anak-anak kecil, lansia dengan gangguan kognitif, dan orang yang sakit parah) yang tidak memungkinkan untuk berkomunikasi. untuk menghindari masalah ini, para peneliti telah mengidentifikasi ekspresi wajah sebagai indikator yang andal dan valid dalam merepresentasikan rasa sakit menggunakan perkembangan teknologi deep learning. sebagian besar penelitian sebelumnya hanya memanfaatkan citra visual, pendekatan tersebut belum sepenuhnya mampu menangkap informasi fisiologis yang mendasari perubahan ekspresi. citra termal menawarkan keunggulan tambahan karena dapat merekam distribusi suhu kulit yang dipengaruhi oleh kondisi fisiologis terhadap rasa sakit. dengan demikian, integrasi kedua modalitas ini berpotensi menghasilkan representasi fitur yang lebih kaya dan akurat. penelitian ini berupa sistem pengenalan rasa sakit melalui ekspresi wajah menggunakan pendekatan multimodal dengan menggabungkan informasi dari fitur citra visual dan termal berbasis deep learning. pendekatan yang diusulkan menerapkan strategi fusion fitur dengan memanfaatkan jaringan pretrained seperti vggface, resnet50, dan deyolo, serta diperkuat dengan modul khusus, yaitu dual semantic enhancing channel weight assignment (deca) dan dual spatial enhancing pixel weight assignment (depa) yang berfungsi untuk memperkuat representasi fitur melalui penekanan aspek semantik dan spasial. sebagai pembanding, model hybrid baseline yang memproses citra visual dan termal secara terpisah juga dikembangkan untuk mengevaluasi perbedaan kinerja antara pendekatan fusion dan non-fusion. eksperimen dilakukan pada dataset mintpain, serta divalidasi secara eksternal menggunakan dataset unbc-mcmaster yang hanya berisi citra visual. hasil menunjukkan bahwa model fusion berbasis vggface memberikan kinerja terbaik dengan f1-score sebesar 0,938 pada dataset mintpain. selain itu, validasi eksternal pada dataset unbc-mcmaster menunjukkan akurasi sebesar 0,872 yang membuktikan kemampuan generalisasi yang kuat.

Pain is typically assessed based on self-reports from patients. However, self-reported pain can be difficult to interpret and may be flawed or unreliable in certain circumstances (e.g., young children, elderly individuals with cognitive impairments, and critically ill patients) where communication is not possible. To overcome this issue, researchers have identified facial expressions as a reliable and valid indicator for representing pain using advances in deep learning technology. Most previous studies have relied solely on visual images, an approach that has not fully succeeded in capturing the underlying physiological information behind expression changes. Thermal imaging offers an added advantage by recording skin temperature distribution, which is influenced by physiological responses to pain. Consequently, integrating these two modalities has the potential to produce richer and more accurate feature representations. This study proposes a facial expression-based pain recognition system using a multimodal approach that combines feature information from visual and thermal images using deep learning. The proposed approach applies a feature fusion strategy utilizing pretrained networks such as VGGFace, ResNet50, and DEYOLO, reinforced with specialized modules: Dual Semantic Enhancing Channel Weight Assignment (DECA) and Dual Spatial Enhancing Pixel Weight Assignment (DEPA), which function to enhance feature representations by emphasizing semantic and spatial aspects. For comparison, a baseline hybrid model that processes visual and thermal images separately was also developed to evaluate performance differences between fusion and non-fusion approaches. Experiments were conducted on the MintPain dataset and externally validated using the UNBC-McMaster dataset, which contains only visual images. The results show that the VGGFace-based fusion model achieves the best performance with an F1-score of 0.938 on the MintPain dataset. Additionally, external validation on the UNBC-McMaster dataset demonstrates an accuracy of 0.872, proving strong generalization capability.