Electronic Theses and Dissertation

Teknologi internet of things (iot) semakin banyak diterapkan dalam berbagai aspek kehidupan, termasuk rumah pintar, yang memungkinkan perangkat rumah tangga untuk terhubung dan saling berkomunikasi melalui internet. namun, bagi penyandang disabilitas, pengoperasian perangkat rumah pintar dengan metode konvensional dapat menjadi tantangan tersendiri. pengenalan suara sebagai metode kontrol berbasis iot menawarkan solusi yang lebih inklusif dan efisien. oleh karena itu, penelitian ini fokus pada pengembangan model deep learning yang dapat mengenali perintah suara dengan tingkat akurasi tinggi untuk diterapkan dalam sistem rumah pintar. penelitian ini bertujuan untuk mengembangkan dan menguji model convolutional neural network (cnn) dengan arsitektur efficientnetv2 pada dataset audio, untuk mengenali perintah suara yang digunakan dalam pengendalian perangkat rumah pintar. penelitian ini menerapkan model pengenalan perintah berbasis suara menggunakan convolutional neural network (cnn) dengan arsitektur efficientnetv2, yang dilatih menggunakan dataset audio primer dan sekunder. selain itu, penelitian ini juga menerapkan protokol komunikasi mqtt sebagai media pengiriman data perintah dari model pengenalan suara ke perangkat rumah pintar. dalam uji coba sistem ini, hasil dari lima peserta menunjukkan rata-rata persentase keberhasilan keseluruhan sebesar 48,75%, sementara persentase kegagalan mencapai 51,25%. hasil ini menunjukkan adanya ruang untuk perbaikan lebih lanjut dalam pengembangan dan pengoptimalan model, serta integrasi yang lebih baik antara pengenalan suara dan protokol komunikasi mqtt untuk memastikan kinerja yang lebih konsisten dan dapat diandalkan dalam sistem rumah pintar. kata kunci: internet of things (iot), rumah pintar, speech recognition, audio, convolutional neural network (cnn), efficiennetv2, mqtt.

The Internet of Things (IoT) technology is increasingly being applied in various aspects of life, including smart homes, which enable household devices to connect and communicate with each other via the internet. However, for people with disabilities, operating smart home devices using conventional methods can be particularly challenging. Voice recognition as an IoT-based control method offers a more inclusive and efficient solution. Therefore, this research focuses on developing a deep learning model capable of recognizing voice commands with high Accuracy for application in smart home systems. The study aims to develop and test a Convolutional Neural Network (CNN) model with an EfficientNetV2 architecture on an audio dataset to recognize voice commands used in controlling smart home devices. This research implements a voice command recognition model based on Convolutional Neural Network (CNN) with an EfficientNetV2 architecture, trained using primary and secondary audio datasets. Additionally, this research applies the MQTT communication protocol as a Medium for transmitting command data from the voice recognition model to smart home devices. In the system's trials, the results from five participants showed an average overall success rate of 48.75%, while the failure rate reached 51.25%. These results indicate room for further improvement in model development and optimization, as well as better integration between voice recognition and the MQTT communication protocol to ensure more consistent and reliable performance in smart home systems. Keywords: Internet of Things (IoT), Smart Home, Speech Recognition, Audio, Convolutional Neural Network (CNN), EfficientNetV2, MQTT.