Hendri Ahmadian Primary Author mixed material bibliography Banda Aceh Fakultas Pasca Sarjana / Prodi Doktor Matematika dan Aplikasi Sains (S3) 2025

Dissertation

Berbagai metode penyisipan kata dan model pralatih (pretrained) telah banyak dieksplorasi untuk mengatasi berbagai permasalahan dalam natural language processing (NLP). Dalam beberapa tahun terakhir, model transformers menjadi pilihan utama untuk model pralatih, terutama pada bahasa dengan sumber data yang lengkap seperti Bahasa Inggris, Mandarin dan Arab. Namun, penelitian terhadap model pretrained dengan sumber data Bahasa Indonesia masih relatif terbatas. Beberapa upaya telah dilakukan untuk mengembangkan model pralatih menggunakan kumpulan data (dataset) Bahasa Indonesia, salah satunya melalui Indonesian natural language understanding (IndoNLU). Pada IndoNLU, berbagai tugas tertentu (tasks) NLP seperti klasifikasi emosi, analisis sentimen, keterkaitan tekstual, dan pengenalan entitas masih menyimpan peluang signifikan untuk peningkatan kinerja model. Penelitian ini bertujuan untuk meningkatkan kinerja tugas tertentu NLP Bahasa Indonesia pada klasifikasi emosi, analisis sentimen, keterkaitan tekstual, dan pengenalan entitas dengan memanfaatkan varian model bidirectional encoder representations from Transformer (BERT) yang telah dikembangkan secara khusus untuk Bahasa Indonesia, yang dikenal sebagai IndoBERT. Pendekatan model dalam penelitian ini mengadopsi metode penggabungan (hybrid) antara model modifikasi IndoBERT dengan teknik sum of 4 last layers dengan beberapa model jaringan saraf tiruan (neural networks). Kinerja model yang dihasilkan dinilai menggunakan metrik F1-score. Pada penelitian pertama mengkaji pengujian pada klasifikasi emosi dan analisis sentimen dengan pendekatan model penggabungan antara model IndoBERT dengan memodifikasi lapisan (layer) dengan teknik menjumlahkan mulai dua sampai lima lapisan terakhir. Masing-masing modifikasi lapisan digabung dengan model bidirectional long short-term memory (BiLSTM) dan dilakukan pengujian untuk klasifikasi emosi dan analisis sentimen. Hasil eksperimen menunjukkan bahwa model penggabungan antara model IndoBERT menggunakan modifikasi lapisan dengan model BiLSTM berhasil mencapai nilai kinerja sebesar 0,92 untuk analisis sentimen dan 0,76 untuk klasifikasi emosi. Penelitian kedua adalah melakukan pengujian kembali pada klasifikasi emosi dan analisis sentimen dengan pendekatan model penggabungan antara model IndoBERT menggunakan modifikasi sum of 4 last layers dengan model BiLSTM, bidirectional gated recurrent unit (BiGRU), dan lapisan attention. Hasil pengujian menunjukkan bahwa model penggabungan antara model IndoBERT (sum of 4 last layers) dan model BiLSTM mencapai nilai kinerja sebesar 0.93 untuk analisis sentimen dan 0.78 untuk klasifikasi emosi. Penelitian ketiga adalah melakukan pengujian pada keterkaitan tekstual dengan pendekatan model penggabungan antara model IndoBERT (sum of 4 last layers) dengan model jaringan saraf tiruan. Hasil eksperimen menunjukkan nilai kinerja sebesar 0,87 untuk model penggabungan antara model IndoBERT (sum of 4 last layers) dengan model BiGRU dan sebesar 0,84 untuk model IndoBERT (sum of 4 last layers) dengan model BiLSTM. Penelitian terakhir adalah pengujian pada pengenalan entitas menggunakan pendekatan model penggabungan antara model IndoBERT (sum of 4 last layers) dengan BiLSTM dan BiGRU. Hasil evaluasi model untuk dataset NERGRiT menunjukkan nilai kinerja 0.79 untuk model penggabungan antara model IndoBERT (sum of 4 last layers) dengan model BiLSTM. Kesimpulan akhir penelitian ini adalah model penggabungan yang mengintegrasikan model IndoBERT (sum of 4 last layers) bersama BiLSTM dan BiGRU terbukti mampu meningkatkan kinerja model dalam berbagai tugas tertentu NLP pada IndoNLU. Evaluasi menunjukkan bahwa pendekatan ini memiliki potensi besar untuk meningkatkan kinerja pada tugas tertentu NLP, meskipun hasilnya dapat berbeda bergantung pada jenis dataset yang digunakan. 0 ELECTRONIC THESES AND DISSERTATION Universitas Syiah Kuala 148023 2025-01-17 11:00:32 2025-01-17 11:46:18 machine generated