Electronic Theses and Dissertation

Penelitian ini bertujuan untuk merancang dan mengevaluasi solusi tanya jawab hukum waris Islam berbasis Retrieval-Augmented Generation (RAG) dalam bahasa Indonesia. Data yang digunakan terdiri dari buku digital Ilmu Waris: Metodologi Penyelesaian Kasus Warisan dan dataset tanya jawab (Q&A) yang telah divalidasi oleh ahli ilmu waris. Sistem dibangun dengan mengintegrasikan model LLaMA 3.2 3B Instruct sebagai generator, tiga model embedding (paraphrase-multilingual-mpnet base-v2, multilingual-e5-large, dan nomic-embed-text-v1.5), serta ChromaDB sebagai basis data vektor. Optimasi dilakukan melalui pengujian sembilan kombinasi pipeline yang dihasilkan dari tiga strategi chunking (PIC, semantic, dan recursive) dan tiga model embedding. Evaluasi dilakukan secara kuantitatif menggunakan metrik Precision@AdaptiveK, Recall@AdaptiveK, F1@AdaptiveK, MRR, serta metrik generasi yaitu BERTScore, faithfulness, dan answer relevancy, serta secara kualitatif oleh seorang ahli ilmu waris. Berdasarkan evaluasi secara kuantitatif, pipeline terbaik adalah kombinasi recursive chunking dan nomic embedding dengan skor total 0,8134. Analisis kualitatif menunjukkan bahwa sistem memiliki performa yang baik pada pertanyaan konseptual dan prosedural, namun masih memiliki keterbatasan pada kasus perhitungan kompleks dan pertanyaan yang memerlukan analisis lebih lanjut. Prototipe juga berhasil diimplementasikan menggunakan Gradio untuk memungkinkan pengujian langsung. Penelitian ini menunjukkan bahwa pendekatan RAG efektif untuk pengembangan solusi tanya jawab dalam domain fikih mawaris, namun perlu peningkatan pada aspek ketepatan dan keterjelasan jawaban.

This study aims to design and evaluate an Islamic inheritance question answering solution based on Retrieval-Augmented Generation (RAG) in Indonesian. The data used consist of a digital book titled Ilmu Waris: Metodologi Penyelesaian Kasus Warisan and a question-answer (Q&A) dataset validated by an Islamic inheritance expert. The system integrates the LLaMA 3.2 3B Instruct model as the generator, three embedding models (paraphrase-multilingual-mpnet-base-v2, multilingual-e5-large, and nomic-embed-text-v1.5), and ChromaDB as a vector database. Optimization was conducted by evaluating nine pipeline combinations derived from three chunking strategies (PIC, semantic, and recursive) and three embedding models. The evaluation was performed quantitatively using Precision@AdaptiveK, Recall@AdaptiveK, F1@AdaptiveK, MRR metrices, along with generation quality metrics including BERTScore, faithfulness, and answer relevancy, as well as qualitatively by an Islamic inheritance expert. Based on quantitative evaluation, the best pipeline is the combination of recursive chunking and nomic embedding with a total score of 0.8134. Qualitative analysis shows that the system performs well on conceptual and procedural questions but still has limitations in handling complex numerical cases and questions requiring deeper analysis. The prototype was successfully implemented using Gradio to enable direct testing. This study demonstrates that the RAG approach is effective for developing question answering solutions in the domain of Islamic inheritance, although improvements are still needed in terms of answer accuracy and clarity.