Electronic Theses and Dissertation

Penelitian ini bertujuan untuk mengevaluasi dan membandingkan kinerja tiga model pemrosesan bahasa alami berbasis transformer, yaitu RoBERTa, DistilBERT, dan IndoBERT, dalam melakukan klasifikasi sentimen terhadap komentar masyarakat mengenai Tim Nasional Sepak Bola Indonesia. Masing-masing model dilatih menggunakan dataset berbahasa Indonesia dan diuji pada data uji yang telah dilabel secara manual. Evaluasi kinerja dilakukan berdasarkan tiga aspek utama, yaitu akurasi prediksi, ukuran model, dan waktu yang dibutuhkan untuk melakukan pengujian. Hasil menunjukkan bahwa model IndoBERT memberikan akurasi tertinggi sebesar 0,71 dengan waktu pengujian 8 detik dan ukuran model sebesar 474,71 MB. Sementara itu, RoBERTa memperoleh akurasi 0,68 dengan waktu pengujian 13 detik, dan DistilBERT memiliki akurasi 0,66 dengan waktu pengujian tercepat yaitu 5 detik. Temuan ini mengindikasikan bahwa IndoBERT merupakan model yang paling efektif dan efisien untuk tugas analisis sentimen teks berbahasa Indonesia, khususnya dalam konteks media sosial seperti Instagram.

This study aims to evaluate and compare the performance of three transformer-based natural language processing models RoBERTa, DistilBERT, and IndoBERT in sentiment classification of public comments regarding the Indonesian National Football Team. Each model was trained using an Indonesian-language dataset and tested on manually labeled test data. The evaluation was conducted based on three main aspects: prediction accuracy, model size, and testing time. The results show that IndoBERT achieved the highest accuracy of 0.71, with a testing time of 8 seconds and a model size of 474.71 MB. Meanwhile, RoBERTa achieved an accuracy of 0.68 with a testing time of 13 seconds, and DistilBERT achieved an accuracy of 0.66 with the fastest testing time of 5 seconds. These findings indicate that IndoBERT is the most effective and efficient model for Indonesian-language sentiment analysis tasks, particularly in social media contexts such as Instagram.