Electronic Theses and Dissertation

Klasifikasi spesies dan tingkat kesegaran ikan merupakan tahapan penting dalam pengendalian mutu hasil perikanan. Namun, sebagian besar penelitian terdahulu masih berfokus pada salah satu tugas klasifikasi atau menggunakan pendekatan joint classification yang menggabungkan kedua informasi tersebut ke dalam satu keluaran sehingga belum mampu memanfaatkan hubungan antar tugas secara optimal. Penelitian ini bertujuan mengembangkan model klasifikasi spesies dan tingkat kesegaran ikan berbasis multi-task learning yang mampu meningkatkan
performa klasifikasi sekaligus mempertahankan efisiensi komputasi untuk implementasi pada perangkat bergerak. Penelitian menggunakan dua skenario dataset, yaitu citra dengan latar belakang asli dan citra hasil segmentasi, serta tiga backbone Convolutional Neural Network (CNN), yaitu MobileNetV2, GhostNetV2, dan EfficientNetB0. Setiap backbone dioptimasi melalui proses fine-tuning pada 20, 40, 60, dan 80 lapisan terakhir, kemudian dikembangkan dengan mengintegrasikan CBAM-Light, GCTFM One-Way, GCTFM Two-Way, serta kombinasi CBAM-Light dan GCTFM Two-Way. Evaluasi dilakukan menggunakan accuracy, precision, recall, F1-score, AUC, Average F1-score, jumlah parameter, MFLOPs, ukuran model, latensi, dan waktu inferensi. Selain itu, dilakukan analisis interpretabilitas menggunakan Grad-CAM dan pengujian silang pada kedua skenario dataset untuk mengevaluasi kemampuan generalisasi model. Hasil penelitian menunjukkan bahwa MobileNetV2 FT80-CG2 yang dilatih menggunakan dataset hasil segmentasi memberikan keseimbangan terbaik antara performa klasifikasi, efisiensi komputasi, kemampuan generalisasi, dan trustworthiness. Model tersebut mencapai accuracy klasifikasi spesies sebesar 99,61%, accuracy klasifikasi tingkat kesegaran sebesar 82,71%, dan Average F1-score sebesar 90,60%, serta berhasil diimplementasikan pada aplikasi Android berbasis TensorFlow Lite dengan waktu inferensi rata-rata sekitar 30 ms per citra. Secara keseluruhan, penelitian ini menunjukkan bahwa kombinasi multi-task learning, CBAM-Light, dan GCTFM Two-Way mampu menghasilkan model yang tidak hanya akurat dan efisien, tetapi juga lebih robust terhadap perubahan latar belakang serta lebih dapat dipercaya untuk mendukung implementasi pada perangkat bergerak.

Fish species and freshness classification are important stages in fish quality assessment. However, most previous studies focus on a single classification task or employ a joint classification approach that combines both outputs into a single prediction, limiting the ability to exploit task relationships effectively. This study proposes a multi-task learning framework for simultaneous fish species and freshness classification while maintaining computational efficiency for mobile deployment. Two dataset scenarios were considered, namely images with original backgrounds and segmented-background images, using three lightweight Convolutional Neural Network (CNN) backbones: MobileNetV2, GhostNetV2, and EfficientNetB0. Each backbone was optimized through fine-tuning of the last 20, 40, 60, and 80 layers, followed by the integration of CBAM-Light, One-Way Gated Cross-Task Feature Modulation (GCTFM), Two-Way GCTFM, and the combination of CBAM-Light with Two-Way GCTFM. Model performance was evaluated using accuracy, precision, recall, F1-score, AUC, Average F1-score, parameter count, MFLOPs, model size, latency, and inference time. Furthermore, Grad-CAM-based interpretability analysis and cross-dataset evaluation were conducted to assess model generalization and prediction reliability. Experimental results demonstrate that MobileNetV2 FT80-CG2 trained on the segmented dataset provides the best balance between classification performance, computational efficiency, generalization capability, and trustworthiness. The proposed model achieved 99,61% species classification accuracy, 82,71% freshness classification accuracy, and an Average F1-score of 90,60%, while achieving an average inference time of approximately 30 ms per image on an Android application using TensorFlow Lite. Overall, the proposed combination of multi-task learning, CBAM-Light, and Two-Way GCTFM produces a model that is not only accurate and computationally efficient but also more robust to background variations, making it more suitable for deployment on mobile devices.