Electronic Theses and Dissertation

Disgrafia dan disleksia merupakan gangguan belajar yang berdampak pada kemampuan menulis dan membaca anak. Salah satu dampak dari kedua gangguan tersebut adalah pada kualitas tulisan tangan yang buruk. Penelitian ini bertujuan untuk mengembangkan sistem prediksi disgrafia dan disleksia berdasarkan gambar tulisan tangan menggunakan pendekatan deep learning sebagai model deteksi. Disgrafia memiliki karakteristik tersendiri sehingga dibangun sebuah model untuk memprediksi potensi disgrafia menggunakan arsitektur CNN dan beberapa penyesuaian hyperparameter. Hasil evaluasi menunjukkan bahwa model deteksi disgrafia yang diusulkan mencapai rata-rata akurasi sebesar 96%, meningkat dari baseline sebelumnya sebesar 91%. Berbeda halnya dengan disleksia, karakteristik disleksia tentu berbeda pula. Model deteksi disleksia dilatih dengan pre-trained model YOLOv7 sebagai feature extractor dan MobileNet V2 sebagai model klasifikasi. Model tersebut mampu memberikan performa yang baik dalam mengeneralisasi data uji yaitu rata-rata 91% pada accuracy, precision, recall, f1-score dan 0,0040 pada nilai loss. Model hasil dari penelitian tersebut diimplementasi dalam sebuah sistem yang dibangun dengan Streamlit, sehingga mampu menerima input gambar untuk mendeteksi potensi dari disgrafia dan disleksia. Sistem ini digunakan untuk mengeneralisasi data baru dari salah satu SLB dan SD yang ada di Kota Banda Aceh. Hasilnya, terdapat beberapa siswa yang berpotensi disgrafia, disleksia dan keduanya. Dari hasil prediksi tersebut juga didapati bahwa siswa yang berpotensi mengalami disgrafia tidak selalu menunjukkan potensi disleksia. Hal ini menunjukkan bahwa meskipun terdapat keterkaitan antara disgrafia dan disleksia, keduanya tidak selalu muncul bersamaan dan dapat berdiri sebagai gangguan yang terpisah.

Kata kunci : Disgrafia, Disleksia, Tulisan tangan, CNN, YOLOv7, MobileNet V2

Dysgraphia and dyslexia are learning disorders that affect a child's ability to write and read. One of the effects of these disorders is poor handwriting quality. This study aims to develop a dysgraphia and dyslexia prediction system based on handwriting images using a deep learning approach as a detection model. Dysgraphia has its own characteristics, so a model was built to predict the potential for dysgraphia using a CNN architecture and several hyperparameter adjustments. The evaluation results show that the proposed dysgraphia detection model achieved an average accuracy of 96%, an improvement from the previous baseline of 91%. In contrast, dyslexia has different characteristics. The dyslexia detection model was trained using the pre-trained YOLOv7 model as a feature extractor and MobileNet V2 as a classification model. The model was able to perform well in generalizing the test data, with an average of 91% in accuracy, precision, recall, f1-score, and 0,0040 in loss value. The model resulting from this research was implemented in a system built with Streamlit, enabling it to receive image inputs to detect potential dysgraphia and dyslexia. This system was used to generalize new data from one of the SLBs and SDs in Banda Aceh City. The results showed that there were several students with potential dysgraphia, dyslexia, and both. The prediction results also showed that students with potential dysgraphia did not always show potential dyslexia. This indicates that while there is a connection between dysgraphia and dyslexia, they do not always occur together and can exist as separate disorders. Keywords: Dysgraphia, Dyslexia, Handwriting, CNN, YOLOv7, MobileNet V2