Electronic Theses and Dissertation

Dalam pengembangan model pengenalan wajah (face recognition), jumlah citra wajah setiap orang harus banyak agar model memiliki kinerja yang baik. Oleh karena itu, dibutuhkan teknik augmentasi menggunakan deep learning untuk memperbanyak data dan menghasilkan variasi pose yang baru berdasarkan pergerakan sudut kepala (Yaw, Pitch, dan Roll). Penelitian ini menggunakan metode deep learning untuk mengklasifikasikan wajah yaitu Convolutional Neural Networks (CNN), arsitektur CNN yang digunakan adalah ResNet-50, MobileNetV3-Large dan SeResNet18. Pelatihan ini dilakukan dalam dua tahap yaitu tahap pertama menggunakan dataset FaceScrub untuk menguji akurasi dari setiap augmentasi yang dilakukan menggunakan hyperparameter dengan nilai batch size sebesar 20, learning rate 1x10-3 , dan epoch sebanyak 150 epochs. Setelah dilakukannya teknik augmentasi, arsitektur SeResNet18 memperoleh nilai akurasi tertinggi yaitu 0,8719 dengan loss 1,5106 dimana sebelum dilakukan teknik augmentasi hanya mendapatkan nilai akurasi yaitu 0,8108 dengan loss 1,5513. Tahap kedua menggunakan data kecil yaitu dataset sivitas akademika mahasiswa untuk menguji akurasi dari augmentasi terbaik. Arsitektur SeResNet18 juga menghasilkan model terbaik pada pelatihan ini dengan nilai akurasi awal adalah 0,8874 dengan loss 0,6495 dan setelah menggunakan teknik augmentasi hasil akurasinya meningkat menjadi 0,937 dengan loss 0,3931.

Kata kunci: Pengenalan Wajah, Augmentasi, Convolutional Neural Network, ResNet50, MobileNetV3-Large, SeResNet18

In the development of face recognition models, the number of face images of each person must be many models in order to have good performance. Therefore, augmentation techniques using deep learning are needed to multiply data and generate new pose variations based on head angle movements (Yaw, Pitch, and Roll). This study uses a deep learning method to classify faces, namely Convolutional Neural Networks (CNN), the CNN architecture used is ResNet-50, MobileNetV3- Large and SeResNet18. This training is carried out in two stages, namely the first stage using the FaceScrub dataset to test the accuracy of each augmentation performed using hyperparameters with a batch size value of 20, a learning rate of 1x10-3 , and an epoch of 150 epochs. After the augmentation technique was performed, the SeResNet18 architecture obtained the highest accuracy value of 0.8719 with a loss of 1.5106 where before the augmentation technique was performed only the accuracy value was 0.8108 with a loss of 1.5513. The second stage uses small data, namely the student academic community datasets to test the best augmentation accuracy. SeResNet18 architecture also produces the best model in this training with an initial accuracy value of 0.8874 with a loss of 0.6495 and after using augmentation techniques the accuracy increases to 0.937 with a loss of 0.3931. Keywords: Face Recognition, Augmentation, Convolutional Neural Network, ResNet50, MobileNetV3-Large, SeResNet18