Ichwanul Fata Primary Author mixed material bibliography Banda Aceh Fakultas MIPA - Informatika 2025

Skripsi

Peraturan yang berlaku di Indonesia mengalami pembaruan seiring berjalannya waktu, sehingga menyebabkan kesulitan dalam memahami hukum yang berlaku saat ini. Perkembangan Artificial Intelligence (AI), khususnya Large Language Model (LLM), memberikan solusi dalam memproses informasi hukum, tetapi LLM masih menghadapi tantangan berupa halusinasi teks. Tujuan dari penelitian ini yaitu mengkaji efektivitas Retrieval Augmented Generation (RAG) dalam menangani masalah tersebut. Data yang digunakan pada penelitian ini berasal dari situs peraturan.go.id, mencakup Peraturan Pemerintah, Peraturan Menteri, dan Peraturan Badan/Lembaga yang diterbitkan antara 2022 hingga 2024 dan masih berlaku. Setelah dilakukan proses preprocessing data, RAG diterapkan melalui tahapan indexing, retrieval, dan generation. Adapun model LLM yang digunakan yaitu Mistral 7B v0.3, Llama 3.2 3B, dan Llama 3.1 8B. Evaluasi dilakukan dengan menggunakan metrik METEOR dan ROUGE-L f1-score. Hasil penelitian ini menunjukkan bahwa penerapan RAG meningkatkan performa seluruh model LLM yang digunakan. Peningkatan nilai METEOR setelah penerapan RAG pada Model Mistral 7B v0.3 sebesar 0.239919, Llama 3.2 3B sebesar 0.253947, dan Llama 3.1 8B sebesar 0.238429. Peningkatan nilai ROUGE-L f1-score setelah penerapan RAG sebesar 0.177905, Llama 3.2 3B sebesar 0.221282, dan Llama 3.1 8B sebesar 0.214018. Penerapan RAG pada model Llama 3.1 8B memperoleh nilai akhir tertinggi, yakni nilai METEOR sebesar 0.473542 dan nilai f1-score ROUGE-L sebesar 0.415701, menjadikannya model dengan performa terbaik dalam penelitian ini. Secara keseluruhan, hasil penelitian ini menunjukkan bahwa penerapan RAG mampu memberikan peningkatan performa model LLM dalam menjawab pertanyaan mengenai hukum, dan melampaui performa model LLM yang umum digunakan seperti GPT-4o Mini, Gemini 1.5 Flash, dan Claude 3.5 Sonnet. 0 ELECTRONIC THESES AND DISSERTATION Universitas Syiah Kuala 156137 2025-05-20 16:24:09 2025-05-21 08:33:04 machine generated