Electronic Theses and Dissertation

Selama ini, informasi terkait akademik di universitas syiah kuala (usk), selain di informasikan dalam bentuk website juga dirangkum dalam bentuk frequently asked question (faq). informasi dalam bentuk website dan faq tidak interaktif sehingga informasi tertentu harus dicari dalam berita web atau daftar faq tersebut. oleh karena itu, dibutuhkan alternatif cara penyampaian informasi yang lebih interaktif menggunakan chatbot. chatbot dapat dibangun dengan menggunakan large language model (llm) seperti mistral 7b. mistral 7b adalah model bahasa besar yang dapat diterapkan untuk menjawab pertanyaan seperti informasi akademik menggunakan data yang dikumpulkan dari universitas. metode fine-tuning dengan teknik qlora dan rag dapat digunakan untuk melatih model dan mengambil informasi yang relevan dari sumber dokumen eksternal. hasilnya kemudian dievaluasi menggunakan skor rouge. jawaban dari model usk mistral 7b memberikan hasil dengan skor >0,5 dengan 15 dari 56 pertanyaan menggunakan metode rag dan metode fine-tuning diuji pada 20 pertanyaan menghasilkan nilai dengan skor >0,5. pengujian juga dilakukan dengan pertanyaan yang berbeda tetapi memiliki makna yang sama dan didapatkan hasil tanggapan dengan skor rouge 0,4-0,5 dari pertanyaan yang diajukan. dengan adanya model usk mistral 7b ditemukan suatu cara yang dapat digunakan untuk membantu pengguna dalam memberikan informasi terkait akademik di usk secara interaktif. kata kunci: large language model, fine-tuning, rag

Right now, academic information at Universitas Syiah Kuala (USK) is distributed on a website or summarized in the form of Frequently Asked Questions (FAQ). Information in the form of a website and FAQ is not interactive. Certain information must be searched from the web or FAQ list. Therefore, a more interactive way to get information using a chatbot is needed. Chatbots can be built using a Large Language Model (LLM) such as Mistral 7B. Mistral 7B is a large language model that can be applied to answer questions such as academic information using data collected from universities. The fine-tuning method with the QLoRA and RAG techniques can be used to train the model and retrieve relevant information from external document sources. The results are then evaluated using the ROUGE score. The answers from the USK Mistral 7B model gave results with a score of >0.5 on 15 out of 56 questions using the RAG method, and the fine-tuning method was tested on 20 questions, producing a value with a score of >0.5. Testing was also conducted with different questions that had the same meaning, and response results were obtained with a ROUGE score of 0.4-0.5 from the questions asked. Using the USK Mistral 7B model in a chatbot, academic information at USK can be shared interactively. Keywords: Large Language Model, Fine-tuning, RAG