Electronic Theses and Dissertation

Pengenalan wajah merupakan salah satu aspek yang penting dalam sistem keamanan dan identitas personal. Sistem pengenalan wajah terkhusus verifikasi wajah harus mampu mendeteksi secara akurat kebenaran wajah seseorang berdasarkan identitas yang diberikan. Sistem ini masih memiliki beberapa keterbatasan, seperti kesulitan mengenali wajah yang memiliki fitur yang tidak biasa, seperti mata sipit atau hidung lebar, atau wajah yang terlalu terang atau telalu gelap. Oleh karena itu, penelitian ini menggunakan pendekatan penggabungan keputusan untuk meningkatkan akurasi model pengenalan wajah dengan memanfaatkan dataset FaceScrub dan sivitas akademika. Model pengenalan wajah yang digunakan adalah VGG-Face, FaceNet, OpenFace, dan ResNet-50, yang merupakan model Convolutional Neural Network (CNN) yang dapat mengevaluasi dan membedakan wajah sesuai dengan identitasnya menggunakan berbagai kesamaan berdasarkan identitasnya. Penelitian ini memberikan kontribusi ilmiah dengan mengusulkan beberapa metode penggabungan keputusan model pengenalan wajah, seperti if any true, if all true, base on threshold, if tie = true, dan if tie = false, untuk melakukan verifikasi wajah. Standar pengukuran kesamaan yang digunakan adalah jarak kosinus dan jarak Euclidean_L2. Kinerja klasifikasi dari setiap model diukur dengan menggunakan matriks konfusi. Hasil penelitian menunjukkan bahwa penggabungan keputusan pada kombinasi 2 model VGG-Face dan FaceNet menghasilkan akurasi terbaik mencapai 91,6% pada dataset FaceScrub dan 91,5% pada dataset sivitas akademika menggunakan pengukuran jarak kosinus. Penggabungan keputusan dengan pengukuran jarak kosinus juga menunjukkan peningkatan akurasi yang lebih baik dibandingkan dengan pengukuran jarak Euclidean_L2. Selain itu, proses penggabungan keputusan tidak menambah waktu eksekusi secara signifikan.
Kata kunci: Pengenalan wajah, verifikasi wajah, pengukuran kesamaan, penggabungan keputusan, CNN, VGG-Face, FaceNet, OpenFace, ResNet-50

Face recognition is one of the crucial aspects of security systems and personal identity. The face recognition system, especially for face verification, must accurately detect the authenticity of a person's face based on the provided identity. However, the face recognition system still has some limitations, such as difficulties in recognizing faces with unusual features, such as narrow eyes or broad noses, or faces that are either too bright or too dark. Therefore, this research utilizes a decision fusion approach to enhance the accuracy of face recognition models by leveraging the FaceScrub and academic community datasets. The models used are VGG-Face, FaceNet, OpenFace, and ResNet-50. These sophisticated Convolutional Neural Network (CNN) models are designed to evaluate and distinguish faces using various similarities based on their identities. This study scientifically contributes by proposing several decision fusion methods for face recognition models, such as if any true, if all true, base on the threshold, if tie = true, and if tie = false, to perform face verification. The similarity measurements employed are cosine similarity and Euclidean_L2 distance. The performance of each model is evaluated using the confusion matrix. The results indicate that the decision fusion of the VGG-Face and FaceNet models achieves the highest accuracy, with 91.6% accuracy on the FaceScrub dataset and 91.5% on the academic community dataset using cosine similarity measurements. Decision fusion with cosine similarity demonstrates superior accuracy compared to using Euclidean_L2 distance. Additionally, the decision fusion process does not significantly increase the execution time. Keywords: Face recognition, face verification, similarity measurement, decision fusion, CNN, VGG-Face, FaceNet, OpenFace, ResNet-50