Electronic Theses and Dissertation

Pengembangan teknologi biometrika memberikan dampak yang positif terhadap penggunaan metode autentikasi berbasis biometrika di berbagai lini seperti fingerprint scanner dan pengenalan wajah untuk presensi kehadiran dan pembuka layar smartphone. namun, penggunaan biometrika di sektor pendidikan masih tergolong rendah seperti tumpang tindihnya presensi kehadiran via web dan fingerprint scanner. penggunaan fingerprint ini semakin terlarang dengan adanya pandemi covid-19. oleh karena itu, diperlukan suatu sistem biometrika yang lebih baik tanpa memerlukan interaksi secara langsung antara sistem dan pengguna yaitu pengenalan wajah. penelitian ini menggunakan metode machine learning untuk melakukan klasifikasi terhadap pengenalan wajah yaitu convolutional neural network (cnn). tiga arsitektur cnn yang dipakai yaitu vgg-16, vgg-19, dan resnet-50. pelatihan dilakukan sebanyak dua tahap. tahap pertama menggunakan data set facescrub dengan menguji akurasi dan waktu prediksi terbaik dari ketiga arsitektur, sedangkan tahap kedua menggunakan data set sivitas akademika dengan menguji hyperparameter dan augmentasi data untuk memperoleh performa model terbaik. arsitektur resnet-50 memperoleh akurasi validasi tertinggi yaitu 0,90, loss validasi terendah yaitu 0,89, dan waktu prediksi terendah yaitu 35,77 detik per 400 citra digital. kemudian, arsitektur resnet-50 menghasilkan model berperforma terbaik pada pelatihan tahap kedua untuk data set sivitas akademika mahasiswa dengan batch size 5, learning rate , dan data augmentasi. berdasarkan hasil pengujian (testing) menggunakan data sivitas akademika mahasiswa, diperoleh akurasi (rata-rata dari f1) sebesar 0,89 dan macro average (f1 dari rata-rata) sebesar 0,89.

The development of biometric technology has a positive impact on utilizing biometric-based authentication methods in various techniques such as fingerprint scanners and facial recognition for attendance systems and screen unlockers on a smartphone. However, the usability of biometrics in the education sector is still relatively low, such as overlapping attendance systems via the web and fingerprint scanners. However nowadays fingerprint usage as an attendance system is prohibited due to the Covid-19 pandemic. Therefore, a better biometric system named facial recognition which does not require direct interaction between the machine and consumer, is needed. This research uses machine learning methods to classify facial recognition, namely Convolutional Neural Network (CNN). The three various architectures used are VGG-16, VGG-19, and ResNet-50. The training process is separated into two stages. The first stage using the FaceScrub data set by testing the accuracy and best prediction time from the model of the three architectures. The second stage using the academic community data set by tuning hyperparameters and data augmentation to obtain the best model performance. The ResNet-50 architecture achieve 0.90 on the validation accuracy, the lowest validation loss is 0.89, and the fastest prediction time of 35.77 seconds per 400 digital images. Then, the ResNet-50 architecture generates the best-performing model in the second stage of training for the student academic community data set with batch size 5, learning rate 1x10-4, and augmentation data. Based on the results of testing data of the student academic community, the accuracy is 0.89 & the macro average is 0.89.