Universitas Syiah Kuala | ELECTRONIC THESES AND DISSERTATION

Electronic Theses and Dissertation

Universitas Syiah Kuala

    SKRIPSI
CUT NISA SHAFIRA, EVALUASI KOMPARATIF MODEL INDOBERT (FINE-TUNING & EMBEDDING-SVM) DAN ZERO-SHOT CLASSIFICATION DALAM ANALISIS SENTIMEN BODY SHAMING DI MEDIA SOSIAL X. Banda Aceh Fakultas MIPA Statistika,2026

Body shaming merupakan fenomena sosial yang semakin marak di media sosial x, dengan dampak psikologis yang signifikan terutama bagi kalangan remaja dan dewasa muda. penelitian ini bertujuan untuk mengimplementasikan dan mengevaluasi tiga pendekatan analisis sentimen dalam mengklasifikasikan polaritas teks komentar body shaming berbahasa indonesia di media sosial x, yaitu fine-tuned indobert, indobert embedding + svm, dan zero-shot classification berbasis mdeberta. data yang digunakan merupakan data sekunder hasil crawling dari platform x pada periode 01 januari 2022 hingga 01 oktober 2025, dengan total 5.575 cuitan berbahasa indonesia setelah melalui proses preprocessing secara menyeluruh. pelabelan sentimen dilakukan secara otomatis menggunakan teknik pseudo-labeling berbasis model indonesian bert base sentiment analysis, menghasilkan distribusi tiga kelas, yaitu negatif (72,1%), netral (17,2%), dan positif (10,7%). dataset dibagi dengan rasio 70:10:20 untuk data latih, validasi, dan uji. hasil evaluasi menunjukkan bahwa fine-tuned indobert memberikan kinerja terbaik dengan akurasi 86%, macro f1-score 0,76, dan weighted f1-score 0,85, mengungguli indobert embedding + svm (akurasi 76,70%) dan zero-shot mdeberta (akurasi 69,87%). pengujian model terbaik pada 99 sampel data baru menghasilkan akurasi keseluruhan 84,85%, dengan kinerja tertinggi pada kelas negatif (92,19%), diikuti kelas netral (82,61%), dan kelas positif (50,00%). ketidakseimbangan kelas dengan dominasi sentimen negatif menjadi faktor utama yang memengaruhi kinerja ketiga model. penelitian ini membuktikan bahwa pendekatan fine-tuning model bahasa pra-latih berbasis bahasa lokal secara signifikan meningkatkan akurasi klasifikasi sentimen pada teks informal berbahasa indonesia yang berkaitan dengan isu sosial body shaming di media sosial.



Abstract

This study aims to comparatively evaluate three sentiment analysis approaches for classifying the polarity of Indonesian-language body shaming comments on social media X, namely Fine-Tuned IndoBERT, IndoBERT Embedding + SVM, and Zero-Shot Classification based on mDeBERTa. The dataset consists of 5,575 tweets collected through crawling from 01 January 2022 to 01 October 2025, subjected to comprehensive preprocessing and automatic pseudo-labeling. The label distribution reveals a dominance of negative sentiment (72.1%), followed by neutral (17.2%) and positive (10.7%), with a 70:10:20 train-validation-test split. Evaluation results show that Fine-Tuned IndoBERT achieved the best performance with an accuracy of 86%, macro F1-score of 0.76, and weighted F1-score of 0.85, outperforming IndoBERT Embedding + SVM (76.70%) and Zero-Shot mDeBERTa (69.87%). Class imbalance was the primary factor affecting all three models, particularly in detecting positive sentiment. This study demonstrates that fine-tuning a local-language pre-trained model significantly improves sentiment classification accuracy for informal Indonesian text related to body shaming on social media.



    SERVICES DESK