Electronic Theses and Dissertation

Abstrak - Ekspresi mikro merupakan fenomena fisiologis yang melibatkan
gerakan otot wajah yang sangat halus, muncul dengan spontan, dan berlangsung
sangat cepat. Pendeteksian ekspresi mikro secara manual sulit dideteksi karena
keterbatasan mata manusia dalam menangkap detail dari kejadian yang terjadi
dengan cepat. Karena itu, diperlukan suatu metode yang dapat mengklasifikasi
ekspresi mikro secara otomatis dan dengan akurasi yang baik. Penelitian ini
bertujuan untuk membangun model-model deep learning yang dapat secara
otomatis mengklasifikasi ekspresi mikro dengan tingkat akurasi prediksi yang baik.
Model-model ini akan dibangun dengan arsitektur EfficientNet-B0 dan
InceptionResNet-V2 dari algoritma Convolutional neural network, dan
menggunakan 7.750 citra wajah dengan ekspresi mikro dari dataset CASME-II.
Dataset yang digunakan terbagi dalam lima kelas ekspresi mikro yaitu ekspresi
yang menunjukkan perasaan bahagia (happiness), jijik (disgust), tertekan
(repression), terkejut (surprise), dan yang menunjukkan perasaan lainnya (others).
Jumlah citra yang digunakan untuk masing-masing tahapan pelatihan, validasi, dan
pengujian model adalah 6.200 (80%), 775 (10%), dan 775 (10%). Hasil penelitian
menunjukkan bahwa model-model yang dibangun menggunakan kedua arsitektur
di atas dengan learning rate 0,001 dan epoch 100 adalah yang terbaik dibandingkan
model-model dengan kombinasi learning rate dan epoch lainnya. Model
InceptionResNet-V2 mempunyai kinerja yang sedikit lebih baik (nilai
accuracy, precision, recall dan F1-score semua 99,87%) dari pada model
EfficientNet-B0 (accuracy 98,45%, precision 98,49%, recall 98,45%, F1-score
98,46%). Selanjutnya, akurasi model arsitektur EfficientNet-B0 yang dibangun
dalam penelitian ini, lebih baik dari akurasi model yang dibangun pada penelitian
sebelumnya yang menggunakan arsitektur yang sama namun dengan dataset yang
berbeda (akurasi 70,44%).
Kata Kunci: Ekspresi Mikro, klasifikasi, Convolutional Neural Network (CNN),
EfficientNet-B0, dan InceptionResnet-V2.

Abstract - Micro expressions are physiological phenomena involving very subtle facial muscle movements that appear spontaneously and last for a very short duration. Detecting micro expressions manually is challenging due to the human eye's limitations in capturing details of rapidly occurring events. Therefore, a method is needed to automatically classify micro expressions with good accuracy. This study aims to develop deep learning models that can automatically classify micro expressions with high prediction accuracy. These models will be built using the EfficientNet-B0 and InceptionResNet-V2 architectures of the Convolutional neural network algorithm, and will utilize 7,750 facial images with micro expressions from the CASME-II dataset. The dataset is divided into five micro expression classes: happiness, disgust, repression, surprise, and others. The number of images used for training, validation, and testing the models is 6,200 (80%), 775 (10%), and 775 (10%), respectively. The results show that models built using the aforementioned architectures with a learning rate of 0.001 and 100 epochs are the best compared to models with other combinations of learning rates and epochs. The InceptionResNet-V2 model has a slightly better performance (accuracy, precision, recall, and F1-score all 99.87%) than the EfficientNet-B0 model (accuracy 98.45%, precision 98.49%, recall 98.45%, F1-score 98.46%). Furthermore, the accuracy of the EfficientNet-B0 architecture model developed in this study is better than the accuracy of the model built in previous research using the same architecture but with a different dataset (accuracy 70.44%). Keywords: Micro expressions, classification, Convolutional Neural Network (CNN), EfficientNet-B0, InceptionResNet-V2.