Electronic Theses and Dissertation

Kawasan pejalan kaki seperti Malioboro memiliki dinamika yang tinggi dengan pola interaksi yang tidak terstruktur. Kondisi ini menimbulkan tantangan dalam pemantauan aktivitas kelompok secara otomatis berbasis video. Penelitian ini bertujuan mengembangkan sistem pengenalan aktivitas kelompok berbasis spatio-temporal deep learning untuk menganalisis dinamika aktivitas pada lingkungan pejalan kaki yang padat dan dinamis. Sistem yang diusulkan terdiri atas deteksi dan pelacakan individu menggunakan YOLOv8, pengenalan aktivitas individu menggunakan 3D ResNet-18, serta klasifikasi aktivitas kelompok menggunakan model 1D Convolutional Neural Network (1D CNN) dengan mekanisme attention. Aktivitas individu yang terdeteksi dikonversi menjadi rasio aktivitas individu dan disusun sebagai deret waktu untuk merepresentasikan dinamika aktivitas kelompok tanpa memodelkan relasi antar individu secara eksplisit. Hasil evaluasi menunjukkan model aktivitas individu mencapai akurasi 96% dengan rata-rata F1-score sebesar 0,96. Pada pengenalan aktivitas kelompok, model usulan mencapai akurasi 98,17% dengan rata-rata F1-score sebesar 0,96. Sebagai perbandingan pada dataset yang sama, model ini secara signifikan mengungguli metode Actor Relation Graph (ARG) yang menunjukkan keterbatasan generalisasi pada dua tahap pelatihannya. Model usulan menghasilkan akurasi aktivitas kelompok dan individu sebesar 98,17% dan 96%, jauh melampaui metode ARG yang hanya mencapai 78,72% dan 77,73% pada Stage 1, serta menurun drastis menjadi 37,72% dan 29,66% pada Stage 2. Evaluasi pada video kawasan Malioboro membuktikan sistem mampu menghasilkan prediksi yang stabil di berbagai tingkat kepadatan pejalan kaki. Hasil penelitian ini menunjukkan bahwa representasi berbasis rasio aktivitas individu lebih efektif dan adaptif untuk lingkungan dunia nyata dibandingkan pendekatan berbasis relasi eksplisit yang kompleks.

Kata kunci: pengenalan aktivitas kelompok, spatio-temporal deep learning, rasio aktivitas individu, area pejalan kaki, Malioboro

Pedestrian zones such as Malioboro exhibit high human activity dynamics with unstructured interaction patterns, posing significant challenges for automated group activity monitoring using video-based systems. This study aims to develop a group activity recognition system based on spatio-temporal deep learning to analyze activity dynamics in crowded and dynamic pedestrian environments. The proposed system integrates YOLOv8 for individual detection and tracking, 3D ResNet-18 for human activity recognition, and a 1D Convolutional Neural Network (1D CNN) with an attention mechanism for group activity classification. Detected individual actions are converted into activity ratios and structured as time series to represent group dynamics without explicitly modeling inter-individual relations. Evaluation results show that the individual action recognition model achieves an accuracy of 96% with an average F1-score of 0.96. For group activity recognition, the proposed model achieves 98.17% accuracy with an average F1-score of 0.96. In a comparison using the same dataset, the proposed model significantly outperforms the Actor Relation Graph (ARG) method, which demonstrates limited generalization across its two training stages. The proposed model yields group and individual accuracies of 98.17% and 96% respectively, which far exceeds the ARG method that only reaches 78.72% and 77.73% in Stage 1 and drops drastically to 37.72% and 29.66% in Stage 2. Evaluation on Malioboro pedestrian videos proves the system's ability to generate stable predictions across various density levels. These findings indicate that individual activity ratio representation is more effective and adaptive for real-world environments compared to complex explicit relation-based approaches. Keywords: Group activity recognition, spatio-temporal deep learning, individual activity ratio, pedestrian area, Malioboro