Electronic Theses and Dissertation

Phishing merupakan bentuk kejahatan siber yang paling sering terjadi akibat penyalahgunaan teknologi Artificial Intelligence (AI). Jenis phishing yang dilakukan melalui telepon dengan mengandalkan suara sebagai alat untuk menipu korban disebut vishing. Dalam melakukan aksi kejahatan, pelaku memanfaatkan teknologi AI berupa kloning suara (suara yang mirip dengan suara asli manusia). Pada dasarnya, suara manusia memiliki karakteristik unik, sehingga suara yang dihasilkan oleh aplikasi kloning suara seharusnya dapat dideteksi perbedaannya menggunakan analisis perbandingan sinyal suara. Penelitian ini bertujuan untuk mendeteksi kemiripan antara suara asli dan suara kloning dengan metode dynamic time warping dan metode jarak (distance method). Persentil 5% digunakan sebagai tolak ukur kemiripan suara. Penelitian ini melibatkan 4 orang responden (2 laki-laki dan 2 perempuan). Suara dikloning dengan aplikasi Descript sehingga menghasilkan total 120 pasangan suara. Hasil penelitian menunjukkan bahwa setiap responden memiliki 2 suara yang dikategorikan identik dengan suara asli untuk masing-masing metode analisis. Metode jarak Manhattan, jarak Euclidean dan jarak Canberra memberikan hasil yang konsisten dalam menilai kalimat identik untuk keempat responden. Hasil analisis tersebut diperkuat dengan validasi (perbandingan antara hasil analisis suara asli dengan suara asli yang direkam ulang dan suara asli dengan suara kloning) yang menunjukkan bahwa setidaknya terdapat satu suara identik dari setiap responden yang memenuhi validasi untuk kurang dari 5 metode analisis. Berdasarkan hasil analisis dan validasi, metode jarak Manhattan, jarak Euclidean, dan jarak Canberra efektif dalam menilai keidentikan suara untuk seluruh responden, sehingga cocok digunakan dalam penyelidikan kasus vishing.

Kata kunci: kejahatan siber, phishing, vishing, persentil 5% dan kloning suara

Phishing has emerged as the most prevalent cybercrime due to the misuse of Artificial Intelligence (AI) technology. One specific type of phishing, known as vishing involves the use of voice to deceive victims via telephone. The perpetrators utilize AI-driven voice cloning technology when executing their criminal acts (voices that closely resemble original human voices). Fundamentally, human voices possess unique characteristics, thus, voices generated by voice cloning applications should be able to be distinguished through comparative analysis of voice signals. This research aims to detect the similarities between original and cloned voices using dynamic time-warping and distance methods. The 5% percentile is employed as a benchmark for voice similarity. This research involves 4 respondents (2 males and 2 females). The voice is cloned with the Descript application, it produces a total of 120 voice pairs. The result indicates that every respondent produces two voices that are identical to their original voice for each analysis method. The Manhattan distance, Euclidean distance, and Canberra distance methods show consistent results in identifying identical sentences in 4 respondents. The analytical results are strengthened by validation (comparisons between the analysis of the original voice and re-recorded voice, and original voice with cloned voice). It demonstrates that at least one identical voice of each respondent meets the validation for less than 5 analytical methods. Based on the analytical result and validation, Manhattan distance, Euclidean distance, and Canberra distance methods are effective in identifying identical voices of every respondent. Therefore, the methods are suitable for investigating the vishing cases. Keywords: cybercrime, phishing, vishing, 5% percentile and voice cloning