Penerapan Model Transformer Indobert Lite Dalam Klasifikasi Spam Berbasis Teks Berbahasa Indonesia

Pesan Spam merupakan salah satu ancaman digital yang terus meningkat di Indonesia, Pesan ini sering ditemukan terutama pada Platform media sosial, email, dan SMS dengan tujuan tertentu seperti Penipuan digital, promosi, perjudian online, pornografi, propaganda politik. Penelitian ini bertujuan untuk mengklasifikasikan Pesan Spam menggunakan model Transformer indoBERT Lite. Dataset yang di gunakan adalah kumpulan data pesan spam dari 3 sumber yaitu Email, SMS, dan Media sosial dengan 6 kelas kategori: Spam Penipuan, Spam Promosi, Spam Pornografi, Spam Politik, Spam Judi Online, dan Tidak Spam.
Model dilatih menggunakan IndoBERT Lite dengan konfigurasi 100 epoch, batch size 32/64, dan learning rate 2e-5. Proses pelatihan dilengkapi Early Stopping dan check point callback sehingga pelatihan berhenti otomatis ketika tidak ada peningkatan performa dan menyimpan model terbaik berdasarkan nilai F1-score. Evaluasi dilakukan menggunakan 10-fold cross validation untuk memperoleh hasil yang konsisten.
Hasil Penelitian ini membuktikan bahwa Indobert Lite mampu mengklasifikasikan pesan spam berbahasa indonesia dengan tingkat akurasi terbaik mencapai 97.98?n performa yang stabil. Penggunaan jumlah epoch yang besar memberikan peluang bagi model untuk mempelajari pola bahasa secara mendalam, sehingga berpotensi dikembangkan sebagai solusi pada sistem keamanan digital di platform komunikasi.

Kata kunci: IndoBERT Lite, Klasifikasi Teks, Pesan Spam, NLP, Transformer