Electronic Theses and Dissertation

Keselamatan lalu lintas menjadi isu krusial dengan meningkatnya insiden kecelakaan
jalan raya. Menurut World Health Organisasion (WHO), kecelakaan lalu lintas
menyebabkan 1,19 juta kematian dan 20-50 juta cedera pertahun secara global. Di
Indonesia, faktor manusia berkontribusi 61% terhadap kecelakaan, terutama
pelanggaran rambu lalu lintas. Teknologi deteksi dan pengenalan rambu lalu lintas
berbasis deep learning menawarkan solusi potensial untuk mengurangi risiko
kecelakaan. Namun, sistem yang ada umumnya hanya memberikan informasi dalam
bentuk visual. Penelitian ini bertujuan mengembangkan sistem pengenalan rambu lalu
lintas khas Indonesia menggunakan deep learning dengan output interaktif suara,
mengintegrasikan algoritma YOLO, API ChatGPT untuk ekstraksi informasi, dan
teknologi Text-to-Speech untuk menghasilkan suara intruksi. Penelitian ini
mengimplementasikan algoritma YOLOv8, versi terbaru dari arsitektur YOLO. Dataset
yang digunakan untuk membangun model adalah kombinasi dari dua dataset yaitu,
Indonesian Traffic Sign Dataset dan Road Sign Detection Dataset. Dalam tahap
pemrosesan data, terdapat dua teknik augmentasi data yang digunakan yaitu blurring
dan highlight object guna meningkatkan variasi data pelatihan. Hasil penelitian
menunjukkan bahwa model YOLOv8 yang dikembangkan mencapai tingkat precision
sebesar 96.8%, recall sebesar 95.3%, mAP50% sebesar 97.5%, dan mAP50-95 sebesar
82.9%. Model dengan tuning hyperparameter optimal dan teknik augmentasi data
terbukti meningkatkan performa deteksi rambu lalu lintas dibandingkan dengan model
YOLOv8 pre-trained. Integrasi API GPT-3.5 Turbo efektif dalam memberikan
informasi kontekstual, dan teknologi Google Text-to-Speech (GTTS) berhasil
memberikan instruksi suara yang jelas.

Kata kunci : Deep learning, You Only Look Once (YOLO), ChatGPT API, Google
Text-to-Speech (GTTS), Object detection, Rambu lalu lintas

Traffic safety has become a crucial issue with rising incidents of road accidents. According to the WHO, traffic accidents cause 1.19 million deaths and 20-50 million injuries annually globally. In Indonesia, the human factor contributes 61% to accidents, mainly traffic violations. Traffic alarm detection and recognition technology based on deep learning offers potential solutions to reduce the risk of accidents. However, the existing systems generally only provide information in visual form. The research aims to develop an Indonesian-specific traffic alarm identification system using deep learning with voice interactive outputs, integrating YOLO algorithms, ChatGPT API for information extraction, and Text-to-Speech technology to generate voice instruction. This research implemented the YOLOv8 algorithm, the latest version of the Yolo architecture. The data set used to build the model is a combination of two datasets namely, the Indonesian Traffic Sign Dataset and the Road Sign Detection Dataset. In the data processing phase, there are two data augmentation techniques used: blurring objects and highlight objects to increase training data variation. The results of the research showed that the developed YOLOv8 model achieved a precision of 96.8%, recall of 95.3%, mAP50% of 97.5%, and mAP50-95 of 82.9%. Models with optimal hyperparameter tuning and data augmentation techniques have been shown to improve traffic alarm detection performance compared to the pre-trained models. The GPT-3.5 Turbo API integration is effective in providing contextual information, and Google’s Text-to-Speech (GTTS) technology is successful in delivering clear voice instructions. Keyword : Deep learning, You Only Look Once (YOLO), ChatGPT API, Google Text-to-Speech (GTTS), Object detection, Traffic Sign