Electronic Theses and Dissertation

Manajemen medikasi atau obat-obatan menimbulkan risiko signifikan bagi penyandang tunanetra, yang seringkali menyebabkan kesalahan pengobatan dan ketergantungan pada pengasuh. Untuk mengatasi masalah tersebut, solusi berbasis teknologi sangat penting untuk meningkatkan keselamatan dan kemandirian pengguna. Penelitian mengusulkan sistem identifikasi obat real-time yang dikembangkan sebagai aplikasi mobile menggunakan framework Flutter. Inti dari aplikasi yaitu memanfaatkan model deteksi objek You Only Look Once (YOLO) v11 yang dilatih secara khusus. Model berjalan sepenuhnya secara on-device untuk menjamin privasi dan fungsionalitas tanpa koneksi internet. Sistem mengidentifikasi kemasan obat dari kamera smartphone dan memberikan umpan balik multimodal melalui asisten suara serta getaran haptik. Model dilatih menggunakan dataset hasil akuisisi mandiri yang terdiri dari 800 gambar untuk enam kelas obat.

Medication management poses a significant risk for visually impaired individuals, often leading to medication errors and a dependency on caregivers. To address this, technology-based solutions are crucial for enhancing safety and user autonomy. The proposed approach is a real-time medication identification system developed as a mobile application using the Flutter framework. At its core, the application uses a custom-trained You Only Look Once (YOLO) v11 object detection model that runs entirely on-device, ensuring privacy and functionality even without an internet connection. The system identifies pharmaceutical packaging from a smartphone's live camera feed and delivers multimodal feedback through a clear voice assistant and haptic vibrations. The model was trained using a self-acquired dataset consisting of 800 images for six drug classes.