IMPLEMENTASI REDUKSI DIMENSI PADA VEKTOR WORD EMBEDDING YANG DIHASILKAN OLEH BIDIRECTIONAL ENCODER REPRESENTATIONS FROM TRANSFORMERS (BERT) Andri Darnius Primary Author mixed material bibliography Banda Aceh Fakultas MIPA Informatika Magister Kecerdasan Buatan 2024

Theses

Penelitian ini berfokus pada peningkatan efisiensi model kecerdasan buatanyang kompleks seperti BERT dengan menerapkan teknik reduksi dimensi. ModelBERT memiliki jutaan parameter yang menyebabkan kebutuhan komputasi dan memori yang besar selama pelatihan. Pendekatan yang diambil memanfaatkan BERT sebagai fondasi, dengan menerapkan teknik whitening atau sphering sebagai metode reduksi dimensi pada tahap ekstraksi fitur. Dua skenario dievaluasi: benchmark standar menggunakan BERT asli, dan skenario modifikasi yang melibatkan ekstraksi fitur BERT, teknik whitening (PCA, ZCA, BERT Whitening), dan klasifikasi menggunakan Bidirectional Long-Short Memory (Bi-LSTM) dan MLP. Dataset AG News yang berisi judul dan deskripsi berita dengan 4 kelas topik digunakan sebagai fokus Utama penelitian. Hasil menunjukkan model pada skenario modifikasi, yang mengombinasikan fitur BERT, BERT whitening, dan klasifier Bi-LSTM, memberikan performa terbaik dalam akurasi, skor F1, waktu pelatihan, dan penggunaan memori Graphics Processing Unit (GPU). Temuan ini mengindikasikan bahwa reduksi dimensi whitening dapat meningkatkan efisiensi klasifikasi teks tanpa mengorbankan akurasi. Penelitian ini diharapkan dapat memperluas aplikasi kecerdasan buatan di lingkungan dengan sumber daya terbatas dengan meningkatkan efisiensi model kompleks seperti BERT melalui optimasi parameter dan reduksi dimensi. 0 ELECTRONIC THESES AND DISSERTATION Universitas Syiah Kuala 143575 2024-12-23 16:45:51 2024-12-24 08:33:15 machine generated