Electronic Theses and Dissertation

Perkembangan teknologi large language model (llm) telah membuka peluang baru dalam pengembangan sistem tanya jawab otomatis. namun, llm memiliki keterbatasan dalam mengakses informasi terkini dan konteks spesifik. penelitian ini mengembangkan sistem retrieval-augmented generation (rag) untuk menjawab pertanyaan multi-hop berbahasa indonesia pada domain berita. sistem ini mengintegrasikan komponen retrieval (pencarian dokumen) dan generation (pembangkitan jawaban) untuk menjawab pertanyaan kompleks yang membutuhkan informasi dari beberapa dokumen. korpus berita dikumpulkan dari portal detik.com meliputi tiga kategori: ekonomi-keuangan (detikfinance), otomotif (detikoto), dan olahraga (detiksport) dengan total 900 artikel. sistem menggunakan embedding bge-m3 untuk representasi semantik, chromadb sebagai penyimpan vektor, dan model llm qwen3 30b a3b serta gemma 3 27b untuk pembangkitan jawaban. evaluasi dilakukan menggunakan 90 pertanyaan multi-hop dengan tiga tipe: bridging, temporal, dan comparison. metode retrieval yang diuji meliputi dense retrieval (semantik), sparse retrieval (bm25), hybrid, dan hybrid dengan reranking. hasil evaluasi menunjukkan kombinasi qwen3 30b a3b dengan dense retrieval memberikan kinerja optimal dengan soft exact match 85,56%, token f1 56,85%, rouge-l 51,90%, meteor 51,83%, dan document recall 69,44%. metode dense retrieval mencapai hit@5 sebesar 85,19%, menunjukkan sistem berhasil menemukan dokumen relevan di lima hasil teratas untuk sebagian besar pertanyaan. penelitian ini membuktikan bahwa sistem rag efektif untuk menjawab pertanyaan multi-hop berbahasa indonesia pada domain berita. kata kunci: retrieval-augmented generation, rag, pertanyaan multi-hop, tanya jawab berbasis dokumen, berita berbahasa indonesia, large language model, dense retrieval, embedding bge-m3

The advancement of Large Language Model (LLM) technology has opened new opportunities in developing automated question-answering systems. However, LLMs have limitations in accessing up-to-date and context-specific information. This research develops a Retrieval-Augmented Generation (RAG) system for answering multi-hop questions in Indonesian within the news domain. The system integrates retrieval and generation components to answer complex questions requiring information from multiple documents. The news corpus was collected from the Detik.com portal, covering three categories: economy-finance (detikFinance), automotive (detikOto), and sports (detikSport), totaling 900 articles. The system utilizes BGE-M3 embeddings for semantic representation, ChromaDB as the vector store, and Qwen3 30B A3B and Gemma 3 27B LLM models for answer generation. Evaluation was conducted using 90 multi-hop questions with three types: bridging, temporal, and comparison. The retrieval methods tested include Dense Retrieval (semantic), Sparse Retrieval (BM25), Hybrid, and Hybrid with Reranking. The evaluation results show that the combination of Qwen3 30B A3B with Dense Retrieval achieves optimal performance with Soft Exact Match of 85.56%, Token F1 of 56.85%, ROUGE-L of 51.90%, METEOR of 51.83%, and Document Recall of 69.44%. The Dense Retrieval method achieves Hit@5 of 85.19%, indicating the system successfully retrieves relevant documents in the top five results for most queries. This research demonstrates that RAG systems are effective for answering multi-hop questions in Indonesian within the news domain. Keywords: Retrieval-Augmented Generation, RAG, multi-hop question answering, document-based question answering, Indonesian news, Large Language Model, dense retrieval, BGE-M3 embedding