Electronic Theses and Dissertation

Tuberkulosis (TB) terus menjadi ancaman kesehatan global yang signifikan, sehingga memerlukan metode diagnosis yang cepat, akurat, dan mudah diinterpretasikan. Penelitian ini mengajukan sebuah kerangka kerja deep learning multimodal yang berlandaskan praktik klinis dengan menggabungkan data citra rontgen dada (CXR) dan rekaman suara paru untuk mendeteksi TB. Untuk mengatasi ketiadaan dataset tersinkronisasi, dikembangkan mekanisme Lesion-Guided Smart Data Pairing yang memanfaatkan pelokalan lesi berbasis YOLOv8 guna mencocokkan data visual dan akustik secara relevan terhadap posisi anatominya. Dataset hasil pemetaan terdiri dari 450 citra CXR dan 2.700 rekaman suara paru, yang diproses menggunakan arsitektur dua cabang: encoder ResNet50 untuk ekstraksi fitur visual dan CRNN untuk representasi akustik. Keluaran probabilistik keduanya digabungkan melalui strategi Weighted Average Fusion, dengan bobot optimal W_cxr=0.51 dan W_audio=0.49 yang ditentukan berdasarkan nilai AUC hasil validasi unimodal. Hasil eksperimen menunjukkan bahwa kerangka yang diusulkan memberikan kinerja lebih baik (Accuracy = 0.92, AUC = 0.983) dibandingkan model unimodal CXR (Accuracy=0.90, AUC= 0.95) dan (Accuracy=0.73, AUC = 0.81). Studi ini menawarkan pendekatan multimodal yang efisien terhadap data dan selaras dengan konteks fisiologis untuk skrining TB, sekaligus menjadi landasan bagi pengembangan sistem diagnosis berbantuan AI yang dapat diterapkan secara klinis.

Kata Kunci: Tuberkulosis, Multimodal Deep Learning, Smart Data Pairing, Late Fusion, YOLOv8

Tuberculosis (TB) remains a significant global health threat, necessitating diagnostic methods that are fast, accurate, and clinically interpretable. This study proposes a clinically grounded multimodal deep learning framework that integrates chest X-ray (CXR) images and lung sound recordings for TB detection. To address the absence of synchronized multimodal datasets, a Lesion-Guided Smart Data Pairing mechanism is developed, leveraging YOLOv8-based lesion localization to anatomically align visual and acoustic data. The resulting paired dataset comprises 450 CXR images and 2,700 lung sound recordings, which are processed using a dual-branch architecture: a ResNet50 encoder for visual feature extraction and a CRNN for acoustic representation learning. The probabilistic outputs from both branches are fused using a Weighted Average Fusion strategy, with optimal weights of W_cxr=0.51 and W_audio=0.49 , derived from unimodal validation AUC values. Experimental results demonstrate that the proposed framework outperforms unimodal CXR (Accuracy = 0.90, AUC = 0.95) and audio-only models (Accuracy = 0.73, AUC = 0.81), achieving an overall performance of Accuracy = 0.92 and AUC = 0.983. This study presents a data-efficient and physiologically aligned multimodal approach for TB screening, providing a solid foundation for the development of clinically deployable AI-assisted diagnostic systems. Keyword: Tuberculosis, Multimodal Deep Learning, Smart Data Pairing, Late Fusion, YOLOv8