Electronic Theses and Dissertation

Face recognition telah menjadi teknik biometrik terkemuka dalam identifikasi dan otentikasi wajah manusia karena dianggap paling stabil dalam menentukan identitas seseorang. Ketersediaan data citra wajah pelatihan yang besar menjadi kunci untuk peningkatan efektivitas model dalam mengidentifikasi wajah selain arsitektur deep learning yang optimal. Pelabelan koleksi data citra wajah secara manual telah dilakukan namun tidak efektif karena membutuhkan waktu dan biaya yang sangat besar. Oleh karena itu, augmentasi data citra wajah dengan memanfaatkan arsitektur HyperStyle menjadi solusi permasalahan tersebut. Model ResNet-50 yang dilatih dengan gabungan dataset original FaceScrub dan dataset hasil sintesis HyperStyle Age dan HyperStyle Smile sehingga total citra sebanyak 44.000 meningkatkan kinerja model dengan F1-Score 79%, naik signifikan dibandingkan dengan model yang dilatih dengan dataset original FaceScrub, yaitu F1-Score 63%. Selain itu model ResNet-50 terbukti andal dengan F1-Score 82% dibandingkan model CNN lainnya dengan masing-masing F1-Score yaitu VGGNet-16 (60%), MobileNetV3Small (65%), SEResNet18 (81%). Modifikasi HyperStyle pada sisi pre-processing dan post-processing juga memberikan hasil yang menjanjikan terhadap kinerja model. Model ResNet-50 yang dilatih dengan gabungan dataset original FaceScrub dan dataset hasil sintesis HyperStyle termodifikasi memperoleh F1-Score 83%.

Face recognition is the most stable and robust biometric technique for identifying and authenticating human faces. However, training face recognition models using a deep learning architecture requires large training images. In addition, labeling face image collections manually is a time-consuming and costly process. Augmenting face images using the HyperStyle architecture can solve these issues. Experimental results obtained using the ResNet-50 architecture trained on a dataset of 44,000 face images (the original FaceScrub dataset combined with the HyperStyle Age and HyperStyle Smile augmented images) demonstrate that the model achieved an F1-score of 79%, therefore outperforming the model trained using the original FaceScrub dataset without HyperStyle augmentation, i.e., F1-score of 63%. ResNet-50 with an F1-score of 82% outperformed other CNN models i.e., VGGNet-16 (60%), MobileNetV3Small (65%), SEResNet18 (81%). HyperStyle modifications on the pre-processing and post-processing achieved promising results on model performance. ResNet-50 model trained using combination of the original FaceScrub dataset and the modified HyperStyle synthesized dataset obtained an F1-Score of 83%.