Electronic Theses and Dissertation

Autism Spectrum Disorder (ASD) merupakan gangguan perkembangan yang
memengaruhi kemampuan individu dalam mengenali dan mengekspresikan emosi,
sehingga identifikasi emosi melalui ekspresi wajah menjadi lebih menantang.
Penelitian ini bertujuan memetakan citra wajah anak ASD ke ruang Valence-Arousal
menggunakan face segmentation dan Convolutional Neural Network (CNN) untuk
mendukung representasi emosi secara lebih komprehensif. Dataset yang digunakan
adalah Autistic Children Emotions Dataset yang terdiri atas 606 citra dengan dua kelas
emosi, yaitu joy dan sadness. Tahap prapemrosesan meliputi face detection, cropping,
face segmentation, resize citra menjadi 224 × 224 piksel, dan normalisasi. Selanjutnya
dilakukan perbandingan performa dua arsitektur CNN, yaitu MobileNetV2 dan
ResNet18. Hasil pengujian menunjukkan bahwa ResNet18 memperoleh performa
terbaik dengan accuracy sebesar 94,64%, sedangkan MobileNetV2 memperoleh
accuracy sebesar 92,86%. Hasil paired t-test menghasilkan nilai p-value sebesar
0,322, yang menunjukkan bahwa perbedaan performa kedua model tidak signifikan
secara statistik pada tingkat signifikansi 5%. Model ResNet18 kemudian
diimplementasikan ke dalam sistem berbasis web menggunakan Streamlit untuk
melakukan klasifikasi emosi wajah anak ASD serta memetakan hasil klasifikasi ke
ruang Valence-Arousal. Hasil penelitian menunjukkan bahwa pendekatan yang
diusulkan mampu mengidentifikasi emosi wajah anak ASD dengan performa yang
baik serta memberikan representasi emosi dalam bentuk diskrit dan kontinu.

Autism Spectrum Disorder (ASD) is a neurodevelopmental disorder that affects an individual's ability to recognize and express emotions, making facial emotion recognition more challenging. This study aims to map facial images of children with ASD into the Valence-Arousal space using face segmentation and Convolutional Neural Networks (CNN) to provide a more comprehensive representation of emotions. The dataset used was the Autistic Children Emotions Dataset, consisting of 606 facial images with two emotion classes: joy and sadness. The preprocessing stage included face detection, cropping, face segmentation, image resizing to 224 × 224 pixels, and normalization. Two CNN architectures, MobileNetV2 and ResNet18, were evaluated and compared. The experimental results showed that ResNet18 achieved the best performance with an accuracy of 94.64%, while MobileNetV2 achieved an accuracy of 92.86%. Furthermore, the paired t-test produced a p-value of 0.322, indicating that the performance difference between the two models was not statistically significant at the 5% significance level. The best-performing model, ResNet18, was then implemented in a Streamlit-based web system to classify facial emotions of children with ASD and map the classification results into the Valence-Arousal space. The proposed approach demonstrates good performance in recognizing facial emotions while providing both discrete and continuous emotion representations