Electronic Theses and Dissertation

Model deteksi objek merupakan komponen fundamental pada sistem persepsi kendaraan otonom, namun kinerjanya rentan mengalami degradasi pada kondisi cuaca buruk seperti hujan. Penelitian ini bertujuan menyelesaikan masalah tersebut melalui tiga tahapan utama: akuisisi dataset primer, pengembangan model deteksi berbasis YOLOv11 varian nano, serta evaluasi dan implementasi model pada perangkat edge. Tahap akuisisi menggunakan sensor termal FLIR Lepton 3.5 dengan bantuan fitur Multi-Spectral Dynamic Imaging (MSX), berhasil mengumpulkan 4.845 citra (2.416 visual dan 2.429 termal) di lingkungan mixed traffic Kota Banda Aceh yang mencakup enam kelas objek. Tahap pengembangan difokuskan pada pelatihan empat model independen yang sesuai dengan jenis dataset primer untuk membandingkan kapabilitas ekstraksi fitur lintas-modal secara optimal. Hasil evaluasi menunjukkan model visual mencapai mAP@0.5 tertinggi sebesar 0,944 saat siang namun menurun menjadi 0,824 saat malam akibat distorsi iluminasi. Model termal mencatatkan mAP@0.5 0,686 saat siang dan 0,582 saat malam akibat fenomena oklusi termal, yakni penyatuan emisi panas tanpa pembatas yang jelas. Pada tahap implementasi menggunakan ZED Box Orin NX 16GB, optimasi format model menggunakan TensorRT memiliki kecepatan inferensi waktu yang lebih cepat jika dibandingkan dengan PyTorch dan ONNX, kecepatan inferensi konsisten berada pada rentang 23 hingga 25 Frame Per Second (FPS).

Object detection models are fundamental components of autonomous vehicle perception systems, yet their performance is highly susceptible to degradation under adverse weather conditions such as rain. This study aims to address this issue through three main stages: primary dataset acquisition, development of detection models based on the YOLOv11 nano variant, alongside evaluation and implementation on edge devices. The acquisition stage, utilizing the FLIR Lepton 3.5 thermal sensor assisted by the Multi-Spectral Dynamic Imaging (MSX) feature, successfully collected 4,845 images (2,416 visual and 2,429 thermal) in the mixed traffic environment of Banda Aceh City, covering six object classes. The development stage focused on training four independent models corresponding to the primary dataset types to optimally compare the cross-modal feature extraction capabilities. Evaluation results indicate that the visual model achieved the highest mAP@0.5 of 0.944 during the day but decreased to 0.824 at night due to illumination distortion. The thermal model recorded an mAP@0.5 of 0.686 during the day and 0.582 at night due to the phenomenon of thermal occlusion, namely the merging of thermal emissions without clear boundaries. During the implementation phase on the ZED Box Orin NX 16GB, model optimization using TensorRT achieved a faster time inference speed compared to PyTorch and ONNX, reaching an inference speed of 23 to 25 Frame Per Second (FPS).