Electronic Theses and Dissertation

Dengan pesatnya perkembangan teknologi Kecerdasan Buatan (AI) dan Cloud Computing, pembagian sumber daya pada Graphic Processing Unit (GPU) dalam virtualisasi telah menjadi salah satu tantangan besar. Berbagai metode remote API untuk General-Purpose computing on Graphics Processing Units (GPGPU) dan framework untuk virtualisasi telah dikembangkan untuk mengatasi masalah ini, masing-masing dengan kelebihan dan kekurangannya sendiri. Tesis memperkenalkan dan menjelaskan metode baru yang dinamakan ivCUDA, untuk berbagi fungsi GPU dengan API NVIDIA Compute Unified Device Architecture (CUDA) ke dalam mesin virtual berbasis QEMU. Metode ini memanfaatkan fungsi Inter-Virtual Machine Shared Memory (IVSHMEM) yang terdapat pada QEMU, untuk membagi memori antara host dengan mesin virtual guest. Metode ivCUDA ini dapat berjalan tanpa membutuhkan modifikasi pada kode sumber QEMU ataupun aplikasi CUDA yang menggunakan fungsi API driver CUDA. Metode ini berjalan dengan memanfaatkan fitur shared memory dari IVSHMEM, yang memungkinkan memori dapat diakses oleh host dan guest mesin virtual secara bersamaan. Dalam pengujian yang dilakukan pada sistem operasi Linux baik host dan guest, ivCUDA hanya sedikit lebih lambat dengan perbedaan sekitar 7 hingga 17 milidetik lebih lambat per tugas dengan benchmark Sleep Bench dari NVBench, jika dibandingkan dengan akses langsung Virtual Function IO (VFIO) pada mesin virtual guest yang sama. Adapun parameter hasil lainnya dari benchmark GPU tersebut tetap sama.

With the rapid development of Artificial Intelligence (AI) technology and cloud computing, utilizing Graphics Processing Unit (GPU) resource sharing in virtualization has become a major challenge. Various General-Purpose computing on Graphics Processing Units (GPGPU) remote API and virtualization frameworks have been developed and proposed to address this issue, each with its own strengths and drawbacks. In this paper will explains for new proposed technique called ivCUDA, to share Compute Unified Device Architecture (CUDA) GPU functions into an isolated virtual machine based on QEMU. Our technique utilizes Inter-Virtual Machine Shared Memory (IVSHMEM), a built-in QEMU feature, to share memory between the host and guest virtual machines. ivCUDA requires no modifications to either the QEMU source code or the CUDA applications that employ CUDA driver API functions. It operates by communicating through the IVSHMEM shared memory block, which is accessible by both the host and the guest virtual machine. In our test environment runs on Linux for both host and guest, ivCUDA exhibits a minimal performance impact with approximately 7 to 17 milliseconds slower per task differences with NVBench’s Sleep Bench, compared to direct access Virtual Function IO (VFIO) on the same guest virtual machine. The core GPU performance remains identical