RANCANG BANGUN SISTEM KONTROL KOMPUTER BERBASIS VOICE ACTION MENGGUNAKAN MODEL WHISPER DAN DISTILBERT

Ahmad Thaifur, Rancang Bangun Sistem Kontrol Komputer Berbasis Voice
Action Menggunakan Model Whisper dan DistilBERT
Dibimbing Oleh : Dr. Amriana, S.T., M.T.
Interaksi antara manusia dan komputer rata-rata masih didominasi oleh penggunaan
perangkat masukan konvensional, seperti keyboard dan mouse. Meskipun efektif
bagi sebagian besar pengguna, perangkat tersebut dapat menimbulkan
ketidaknyamanan fisik serta sulit digunakan oleh penyandang disabilitas yang
memiliki keterbatasan fungsi motorik pada tangan dan lengan. Meskipun sistem
kontrol komputer berbasis suara telah banyak dikembangkan, sebagian besar solusi
yang ada masih bergantung pada layanan cloud, sehingga meningkatkan waktu
respons dan menimbulkan kekhawatiran terhadap privasi data. Penelitian ini
bertujuan merancang dan mengimplementasikan sistem kontrol komputer berbasis
voice action yang bekerja sepenuhnya secara lokal (on-device). Penelitian
menggunakan pendekatan eksperimen kuantitatif dengan mengintegrasikan model
Whisper Medium sebagai Automatic Speech Recognition (ASR) dan model
DistilBERT Multilingual yang telah melalui proses fine-tuning sebagai Natural
Language Understanding (NLU) dalam arsitektur terpadu berbasis Python.
Efisiensi komputasi ditingkatkan melalui kuantisasi model INT8 (post-training
quantization) serta penyesuaian confidence threshold menjadi 0,15. Kinerja sistem
dievaluasi menggunakan 100 perintah suara berbahasa Indonesia. Komponen ASR
memperoleh rata-rata Word Error Rate (WER) sebesar 11,93%. Model NLU
menghasilkan nilai rata-rata Accuracy sebesar 80,61%, Precision 79,05%, Recall
79,08%, dan F1-Score 78,98%. Pengujian sistem secara menyeluruh menghasilkan
Task Success Rate (TSR) sebesar 98?ngan rata-rata waktu respons 0,41 detik,
yang menunjukkan performa real-time yang andal. Hasil penelitian menunjukkan
bahwa sistem yang diusulkan mampu menyediakan solusi kontrol komputer bebas
sentuh yang aman, tidak bergantung pada layanan cloud, serta meningkatkan
aksesibilitas bagi penyandang disabilitas fisik.
Kata kunci: Voice Action, Interaksi Manusia-Komputer, Whisper, DistilBERT,
Automatic Speech Recognition, Natural Language Understanding, Aksesibilitas.