Electronic Theses and Dissertation

Penelitian ini berfokus pada peningkatan efisiensi model kecerdasan buatanyang kompleks seperti BERT dengan menerapkan teknik reduksi dimensi. ModelBERT memiliki jutaan parameter yang menyebabkan kebutuhan komputasi dan memori yang besar selama pelatihan. Pendekatan yang diambil memanfaatkan BERT sebagai fondasi, dengan menerapkan teknik whitening atau sphering sebagai metode reduksi dimensi pada tahap ekstraksi fitur. Dua skenario dievaluasi: benchmark standar menggunakan BERT asli, dan skenario modifikasi yang melibatkan ekstraksi fitur BERT, teknik whitening (PCA, ZCA, BERT Whitening), dan klasifikasi menggunakan Bidirectional Long-Short Memory (Bi-LSTM) dan MLP. Dataset AG News yang berisi judul dan deskripsi berita dengan 4 kelas topik digunakan sebagai fokus Utama penelitian. Hasil menunjukkan model pada skenario modifikasi, yang mengombinasikan fitur BERT, BERT whitening, dan klasifier Bi-LSTM, memberikan performa terbaik dalam akurasi, skor F1, waktu pelatihan, dan penggunaan memori Graphics Processing Unit (GPU). Temuan ini mengindikasikan bahwa reduksi dimensi whitening dapat meningkatkan efisiensi klasifikasi teks tanpa mengorbankan akurasi. Penelitian ini diharapkan dapat memperluas aplikasi kecerdasan buatan di lingkungan dengan sumber daya terbatas dengan meningkatkan efisiensi model kompleks seperti BERT melalui optimasi parameter dan reduksi dimensi.

This research focuses on improving the efficiency of complex artificial intelligence models, such as BERT, by applying dimension reduction techniques. The BERT model has millions of parameters, resulting in high computational and memory requirements during training. The approach taken utilizes BERT as a foundation, applying whitening or sphering techniques as a dimension reduction method at the feature extraction stage. Two scenarios are evaluated: a standard benchmark using the original BERT and a modified scenario involving BERT feature extraction, whitening techniques (PCA, ZCA, BERT Whitening), and classification using Bi-LSTM or MLP. The AG News dataset, containing news headlines and descriptions with four topic classes, is the main focus of the research. Results show that the model in the modified scenario, which combines BERT features, J. Su whitening, and a Bi-LSTM classifier, provides the best performance in terms of accuracy, F1 score, training time, and Graphics Processing Unit (GPU) memory usage. These findings indicate that whitening dimension reduction can improve text classification efficiency without sacrificing accuracy. This research is expected to expand AI applications in resourceconstrained environments by improving the efficiency of complex models like BERT through parameter optimization and dimension reduction.