Electronic Theses and Dissertation

Byond by BSI merupakan aplikasi mobile banking yang menyediakan berbagai layanan perbankan digital. Seiring dengan penggunaannya, aplikasi ini menerima berbagai ulasan yang mencerminkan pengalaman pengguna, termasuk ulasan negatif terkait keluhan mengenai kinerja sistem, fitur, dan kualitas layanan. Banyaknya ulasan yang bersifat tidak terstruktur menyulitkan proses identifikasi jenis keluhan secara manual, sehingga diperlukan pendekatan otomatis untuk menganalisis dan mengelompokkan ulasan tersebut. Penelitian ini bertujuan untuk mengidentifikasi jenis permasalahan utama yang dialami pengguna, serta membandingkan kinerja kombinasi metode pelabelan berbasis topic modeling dengan model klasifikasi dalam mengelompokkan ulasan negatif pengguna. Proses identifikasi topik ulasan dilakukan menggunakan metode topic modeling, yaitu Latent Dirichlet Allocation (LDA) dan Non-Negative Matrix Factorization (NMF), untuk mengekstraksi topik laten dari data ulasan. Setiap ulasan kemudian diasosiasikan dengan topik dominan yang dihasilkan model, yang selanjutnya digunakan sebagai label dalam proses klasifikasi menggunakan algoritma GBM, XGBoost, dan LightGBM, yang efektif dalam menangani data teks berdimensi tinggi. Hasil penelitian menunjukkan bahwa keluhan pengguna dapat dikelompokkan ke dalam tiga kategori utama, yaitu login, transaksi, dan maintenance. Dari keenam kombinasi model yang diuji, kombinasi NMF dan LightGBM memberikan performa terbaik dengan nilai accuracy sebesar 0,9920, macro F1-score sebesar 0,9907, dan MCC sebesar 0,9868 yang menunjukkan kemampuan klasifikasi yang sangat baik. Hasil penelitian ini dapat dimanfaatkan sebagai dasar pengambilan keputusan dalam peningkatan kualitas layanan aplikasi.

Byond by BSI is a mobile banking application that provides various digital banking services. As its usage increases, the application receives numerous user reviews that reflect user experiences, including negative reviews containing complaints related to system performance, features, and service quality. The large volume of unstructured reviews makes it difficult to manually identify types of complaints, thus requiring an automated approach to analyze and categorize these reviews. This study aims to identify the main types of problems experienced by users and to compare the performance of combinations of topic modeling–based labeling methods with classification models in grouping negative user reviews. The process of identifying review topics is conducted using topic modeling methods, namely Latent Dirichlet Allocation (LDA) and Non-Negative Matrix Factorization (NMF), to extract latent topics from the review data. Each review is then associated with its dominant topic generated by the model, which is subsequently used as a label in the classification process using GBM, XGBoost, and LightGBM algorithms, which are effective in handling high-dimensional text data. The results show that user complaints can be grouped into three main categories: login, transactions, and maintenance. Among the six model combinations tested, the combination of NMF and LightGBM provides the best performance, achieving an accuracy of 0.9920, a macro F1-score of 0.9907, and an MCC of 0.9868, indicating excellent classification capability. These findings can be used as a basis for decision-making in improving the quality of application services.