Electronic Theses and Dissertation

Teknologi Internet of Things (IoT) semakin banyak diterapkan dalam berbagai aspek
kehidupan, termasuk rumah pintar, yang memungkinkan perangkat rumah tangga untuk
terhubung dan saling berkomunikasi melalui internet. Namun, bagi penyandang disabilitas,
pengoperasian perangkat rumah pintar dengan metode konvensional dapat menjadi tantangan
tersendiri. Pengenalan suara sebagai metode kontrol berbasis IoT menawarkan solusi yang lebih
inklusif dan efisien. Oleh karena itu, penelitian ini fokus pada pengembangan model deep
learning yang dapat mengenali perintah suara dengan tingkat akurasi tinggi untuk diterapkan
dalam sistem rumah pintar. Penelitian ini bertujuan untuk mengembangkan dan menguji model
Convolutional Neural Network (CNN) dengan arsitektur EfficientNetV2 pada dataset audio,
untuk mengenali perintah suara yang digunakan dalam pengendalian perangkat rumah pintar.
Penelitian ini menerapkan model pengenalan perintah berbasis suara menggunakan
Convolutional Neural Network (CNN) dengan arsitektur EfficientNetV2, yang dilatih
menggunakan dataset audio primer dan sekunder. Selain itu, penelitian ini juga menerapkan
protokol komunikasi MQTT sebagai media pengiriman data perintah dari model pengenalan
suara ke perangkat rumah pintar. Dalam uji coba sistem ini, hasil dari lima peserta menunjukkan
rata-rata persentase keberhasilan keseluruhan sebesar 48,75%, sementara persentase kegagalan
mencapai 51,25%. Hasil ini menunjukkan adanya ruang untuk perbaikan lebih lanjut dalam
pengembangan dan pengoptimalan model, serta integrasi yang lebih baik antara pengenalan
suara dan protokol komunikasi MQTT untuk memastikan kinerja yang lebih konsisten dan
dapat diandalkan dalam sistem rumah pintar.

Kata kunci: Internet of Things (IoT), Rumah Pintar, speech recognition, Audio, Convolutional
Neural Network (CNN), EfficienNetV2, MQTT.

The Internet of Things (IoT) technology is increasingly being applied in various aspects of life, including smart homes, which enable household devices to connect and communicate with each other via the internet. However, for people with disabilities, operating smart home devices using conventional methods can be particularly challenging. Voice recognition as an IoT-based control method offers a more inclusive and efficient solution. Therefore, this research focuses on developing a deep learning model capable of recognizing voice commands with high Accuracy for application in smart home systems. The study aims to develop and test a Convolutional Neural Network (CNN) model with an EfficientNetV2 architecture on an audio dataset to recognize voice commands used in controlling smart home devices. This research implements a voice command recognition model based on Convolutional Neural Network (CNN) with an EfficientNetV2 architecture, trained using primary and secondary audio datasets. Additionally, this research applies the MQTT communication protocol as a Medium for transmitting command data from the voice recognition model to smart home devices. In the system's trials, the results from five participants showed an average overall success rate of 48.75%, while the failure rate reached 51.25%. These results indicate room for further improvement in model development and optimization, as well as better integration between voice recognition and the MQTT communication protocol to ensure more consistent and reliable performance in smart home systems. Keywords: Internet of Things (IoT), Smart Home, Speech Recognition, Audio, Convolutional Neural Network (CNN), EfficientNetV2, MQTT.