Electronic Theses and Dissertation

Infrastruktur jalan raya merupakan aset publik penting yang harus dipantau secara teratur karena berkontribusi terhadap kemajuan ekonomi. Saat ini pemantauan kerusakan jalan masih dilakukan dengan proses manual yaitu dengan cara menyusuri jalan, dan mengambil gambar kerusakan jalan dengan kamera, metode ini sangat menyita waktu, dan tenaga. Penelitian ini bertujuan untuk mengotomasi sistem pemantauan kerusakan jalan dengan membangun model sistem deteksi dan klasifikasi kerusakan jalan dengan model deep learning menggunakan arsitektur YOLOv5. YOLOv5 menggabungkan fungsi detector dan klasifikasi, detector berfungsi untuk mendeteksi objek dalam gambar sedangkan fungsi klasifikasi untuk menentukan kelas objek kerusakan jalan. Penelitian ini menggunakan dataset yang dibangun secara mandiri yang memiliki enam kelas kerusakan jalan yaitu pothole, alligator crack, transverse crack, longitudinal crack, edge crack, dan road joints yang mengikuti karakteristik kerusakan jalan di Indonesia. Dataset tersebut merupakan gabungan dari data gambar kerusakan jalan yang diambil secara mandiri pada lintasan jalan raya di Provinsi Aceh dengan data RDD2020 khususnya jalan pada negara Jepang. Data gambar kerusakan jalan RDD2020 pada negara Jepang diambil karena karakteristik pengambilan gambar yang sama dengan yang dilakukan pada penelitian ini yaitu dengan menggunakan kamera yang terpasang pada dashboard mobil sehingga gambar yang didapat lebih baik dan sesuai dengan point of view dari pengambilan gambar yang dilakukan oleh peneliti. Pengambilan dataset RDD2020 untuk menyeimbangkan data pada setiap kelas. Pengambilan gambar diambil dengan cara berdiri, meminimkan pergerakan tubuh, arah pandangan kamera menuju objek kerusakan jalan dengan memperhatikan kondisi pencahayaan yang baik. Hasil yang telah didapatkan adalah model deep learning menggunakan arsitektur YOLOv5 yang menghasilkan mAP 89.4% serta F1 score 68% pada model baseline mengunakan nilai learning rate 10-2. Hasil mAP naik menjadi 96.8% dan F1 score 91% setelah ditambahkan augmentasi mosaic dengan nilai learning rate yang sama yaitu 10-2.
Kata Kunci: deteksi kerusakan jalan, jalan raya, visi komputer, YOLOv5, deep learning.

Road infrastructure is an important public asset that should be monitored regularly as it contributes to economic progress. Currently, road damage monitoring is still done by a manual process, namely by walking along the road, and taking pictures of road damage with a camera, this method is very time-consuming, and labor-intensive. This research aims to automate the road damage developy a road damage detection and classification system model with a deep learning model using YOLOv5 architecture. YOLOv5 combines detector and classification functions, the detector functions to detect objects in the image while the classification function to determine the class of road damage objects. This research uses an independently built dataset that has six road damage classes namely pothole, alligator crack, transverse crack, longitudinal crack, edge crack, and road joints that follow the characteristics of road damage in Indonesia. The dataset is a combination of road damage image data taken independently on highway tracks in Aceh Province with RDD2020 data, especially roads in Japan. The RDD2020 road damage image data in Japan was taken because of the same image capture characteristics as those carried out in this study, namely by using a camera mounted on the car dashboard so that the images obtained are better and in accordance with the point of view of the image capture by the researcher. Taking the RDD2020 dataset, aims to balance the data in each class. The picture was taken by standing, minimizing body movement, the direction of the camera's view towards the object of road damage by paying attention to good lighting conditions. The results that have been obtained are a deep learning model using YOLOv5 architecture that produces 89.4% mAP and 68% F1 score on the baseline model using a learning rate of 10-2. The mAP results increased to 96.8% and F1 score 91% after adding mosaic augmentation with the same learning rate value of 10-2 Keywords: road damage detection, highway, computer vision, YOLOv5, deep learning.