Electronic Theses and Dissertation

Peraturan yang berlaku di Indonesia mengalami pembaruan seiring berjalannya waktu, sehingga menyebabkan kesulitan dalam memahami hukum yang berlaku saat ini. Perkembangan Artificial Intelligence (AI), khususnya Large Language Model (LLM), memberikan solusi dalam memproses informasi hukum, tetapi LLM masih menghadapi tantangan berupa halusinasi teks. Tujuan dari penelitian ini yaitu mengkaji efektivitas Retrieval Augmented Generation (RAG) dalam menangani masalah tersebut. Data yang digunakan pada penelitian ini berasal dari situs peraturan.go.id, mencakup Peraturan Pemerintah, Peraturan Menteri, dan Peraturan Badan/Lembaga yang diterbitkan antara 2022 hingga 2024 dan masih berlaku. Setelah dilakukan proses preprocessing data, RAG diterapkan melalui tahapan indexing, retrieval, dan generation. Adapun model LLM yang digunakan yaitu Mistral 7B v0.3, Llama 3.2 3B, dan Llama 3.1 8B. Evaluasi dilakukan dengan menggunakan metrik METEOR dan ROUGE-L f1-score. Hasil penelitian ini menunjukkan bahwa penerapan RAG meningkatkan performa seluruh model LLM yang digunakan. Peningkatan nilai METEOR setelah penerapan RAG pada Model Mistral 7B v0.3 sebesar 0.239919, Llama 3.2 3B sebesar 0.253947, dan Llama 3.1 8B sebesar 0.238429. Peningkatan nilai ROUGE-L f1-score setelah penerapan RAG sebesar 0.177905, Llama 3.2 3B sebesar 0.221282, dan Llama 3.1 8B sebesar 0.214018. Penerapan RAG pada model Llama 3.1 8B memperoleh nilai akhir tertinggi, yakni nilai METEOR sebesar 0.473542 dan nilai f1-score ROUGE-L sebesar 0.415701, menjadikannya model dengan performa terbaik dalam penelitian ini. Secara keseluruhan, hasil penelitian ini menunjukkan bahwa penerapan RAG mampu memberikan peningkatan performa model LLM dalam menjawab pertanyaan mengenai hukum, dan melampaui performa model LLM yang umum digunakan seperti GPT-4o Mini, Gemini 1.5 Flash, dan Claude 3.5 Sonnet.

Regulations in Indonesia have been updated over time, making it difficult to understand the current laws. The development of Artificial Intelligence (AI), especially the Large Language Model (LLM), provides a solution for processing legal information, but LLM still faces challenges in the form of text hallucination. This research aims to examine the effectiveness of Retrieval Augmented Generation (RAG) in handling the problem. The data used in this study came from the website peraturan.go.id, covering Government Regulations, Ministerial Regulations, and Institution/Body Regulations issued between 2022 and 2024 and still valid. After preprocessing data, RAG is applied through indexing, retrieval, and generation stages. The LLM models used are Mistral 7B v0.3, Llama 3.2 3B, and Llama 3.1 8B. The evaluation was conducted using METEOR metrics and ROUGE-L f1-score. The results showed that the application of RAG improved the performance of all LLM models used. The increase in METEOR value after the application of RAG on the Mistral 7B v0.3 Model is 0.239919, Llama 3.2 3B is 0.253947, and Llama 3.1 8B is 0.238429. The increase in ROUGE-L f1-score value after the application of RAG was 0.177905, Llama 3.2 3B was 0.221282, and Llama 3.1 8B was 0.214018. The application of RAG to the Llama 3.1 8B model obtained the highest final values, namely the METEOR value of 0.473542 and the ROUGE-L f1-score value of 0.415701, making it the best-performing model in this study. Overall, the results of this study show that the application of RAG can improve the performance of LLM models in answering law questions and surpass the performance of commonly used LLM models such as GPT-4o Mini, Gemini 1.5 Flash, and Claude 3.5 Sonnet.