Electronic Theses and Dissertation

Abstrak - ekspresi mikro merupakan fenomena fisiologis yang melibatkan gerakan otot wajah yang sangat halus, muncul dengan spontan, dan berlangsung sangat cepat. pendeteksian ekspresi mikro secara manual sulit dideteksi karena keterbatasan mata manusia dalam menangkap detail dari kejadian yang terjadi dengan cepat. karena itu, diperlukan suatu metode yang dapat mengklasifikasi ekspresi mikro secara otomatis dan dengan akurasi yang baik. penelitian ini bertujuan untuk membangun model-model deep learning yang dapat secara otomatis mengklasifikasi ekspresi mikro dengan tingkat akurasi prediksi yang baik. model-model ini akan dibangun dengan arsitektur efficientnet-b0 dan inceptionresnet-v2 dari algoritma convolutional neural network, dan menggunakan 7.750 citra wajah dengan ekspresi mikro dari dataset casme-ii. dataset yang digunakan terbagi dalam lima kelas ekspresi mikro yaitu ekspresi yang menunjukkan perasaan bahagia (happiness), jijik (disgust), tertekan (repression), terkejut (surprise), dan yang menunjukkan perasaan lainnya (others). jumlah citra yang digunakan untuk masing-masing tahapan pelatihan, validasi, dan pengujian model adalah 6.200 (80%), 775 (10%), dan 775 (10%). hasil penelitian menunjukkan bahwa model-model yang dibangun menggunakan kedua arsitektur di atas dengan learning rate 0,001 dan epoch 100 adalah yang terbaik dibandingkan model-model dengan kombinasi learning rate dan epoch lainnya. model inceptionresnet-v2 mempunyai kinerja yang sedikit lebih baik (nilai accuracy, precision, recall dan f1-score semua 99,87%) dari pada model efficientnet-b0 (accuracy 98,45%, precision 98,49%, recall 98,45%, f1-score 98,46%). selanjutnya, akurasi model arsitektur efficientnet-b0 yang dibangun dalam penelitian ini, lebih baik dari akurasi model yang dibangun pada penelitian sebelumnya yang menggunakan arsitektur yang sama namun dengan dataset yang berbeda (akurasi 70,44%). kata kunci: ekspresi mikro, klasifikasi, convolutional neural network (cnn), efficientnet-b0, dan inceptionresnet-v2.

Abstract - Micro expressions are physiological phenomena involving very subtle facial muscle movements that appear spontaneously and last for a very short duration. Detecting micro expressions manually is challenging due to the human eye's limitations in capturing details of rapidly occurring events. Therefore, a method is needed to automatically classify micro expressions with good accuracy. This study aims to develop deep learning models that can automatically classify micro expressions with high prediction accuracy. These models will be built using the EfficientNet-B0 and InceptionResNet-V2 architectures of the Convolutional neural network algorithm, and will utilize 7,750 facial images with micro expressions from the CASME-II dataset. The dataset is divided into five micro expression classes: happiness, disgust, repression, surprise, and others. The number of images used for training, validation, and testing the models is 6,200 (80%), 775 (10%), and 775 (10%), respectively. The results show that models built using the aforementioned architectures with a learning rate of 0.001 and 100 epochs are the best compared to models with other combinations of learning rates and epochs. The InceptionResNet-V2 model has a slightly better performance (accuracy, precision, recall, and F1-score all 99.87%) than the EfficientNet-B0 model (accuracy 98.45%, precision 98.49%, recall 98.45%, F1-score 98.46%). Furthermore, the accuracy of the EfficientNet-B0 architecture model developed in this study is better than the accuracy of the model built in previous research using the same architecture but with a different dataset (accuracy 70.44%). Keywords: Micro expressions, classification, Convolutional Neural Network (CNN), EfficientNet-B0, InceptionResNet-V2.