Electronic Theses and Dissertation

Penelitian ini bertujuan untuk mengevaluasi kinerja encoder dari model no language left behind (nllb) dalam tugas klasifikasi sentimen pada beberapa bahasa daerah di indonesia. model nllb yang awalnya dikembangkan untuk penerjemahan mesin dieksplorasi kemampuannya dalam menghasilkan representasi kontekstual teks yang relevan untuk tugas klasifikasi sentimen. dataset yang digunakan adalah nusax, yang mencakup 12 bahasa, termasuk bahasa indonesia, inggris, dan 10 bahasa daerah. dua pendekatan pelatihan diterapkan, yaitu fine-tuning, di mana seluruh parameter model disesuaikan dengan data klasifikasi sentimen, dan partial fine-tuning, di mana hanya lapisan atas yang diperbarui sementara embedding layer dibekukan untuk mempertahankan representasi leksikal awal. pelatihan dilakukan menggunakan algoritma optimisasi adamw dengan fungsi kerugian crossentropyloss, serta mean pooling sebagai mekanisme agregasi fitur. evaluasi dilakukan menggunakan metrik accuracy dan macro f1-score baik secara multibahasa maupun per-bahasa. hasil penelitian menunjukkan bahwa kedua pendekatan menghasilkan performa yang sebanding dengan nilai accuracy 81% dan macro f1-score 80% pada data multibahasa. analisis per-bahasa juga memperlihatkan bahwa model bekerja lebih baik pada bahasa yang telah terdaftar dalam pelatihan awal nllb, seperti bahasa aceh, bali, banjar, minangkabau, jawa, dan sunda, dengan accuracy berkisar antara 79–86%. sementara itu, beberapa bahasa yang belum termasuk dalam cakupan pelatihan nllb, seperti ngaju, madura, dan batak toba, menunjukkan performa yang sedikit lebih rendah, dengan accuracy berkisar antara 70–78%. penelitian ini menunjukkan bahwa encoder nllb memiliki potensi adaptasi yang baik untuk tugas klasifikasi teks, bahkan dalam konteks bahasa daerah dengan sumber daya terbatas.

This study aims to evaluate the performance of the encoder from the No Language Left Behind (NLLB) model in sentiment classification tasks across several regional languages of Indonesia. Originally developed for machine translation, the NLLB model is explored for its capability to generate contextual text representations relevant to sentiment classification. The dataset used is NusaX, which covers 12 languages, including Indonesian, English, and 10 regional languages. Two training approaches are applied: fine-tuning, where all model parameters are adjusted to the sentiment classification data, and partial fine-tuning, where only the upper layers are updated while the embedding layer is frozen to preserve the initial lexical representations. The training process utilizes the AdamW optimization algorithm with the CrossEntropyLoss function and employs mean pooling as the feature aggregation mechanism. Evaluation is conducted using accuracy and macro F1-score metrics, both in multilingual and per-language settings. The results show that both approaches yield comparable performance, achieving an accuracy of 81% and a macro F1-score of 80% on multilingual data. Per-language analysis also reveals that the model performs better on languages included in the original NLLB training, such as Acehnese, Balinese, Banjarese, Minangkabau, Javanese, and Sundanese, with accuracies ranging from 79–86%. In contrast, languages not covered in NLLB’s initial training, such as Ngaju, Madurese, and Batak Toba, exhibit slightly lower performance, with accuracies between 70–78%. This study demonstrates that the NLLB encoder has strong adaptability potential for text classification tasks, even in low-resource regional language contexts.