Sebagai insinyur perangkat lunak, kita dituntut untuk menghasilkan sistem yang andal dan berkualitas tinggi. Namun, kita semua pasti pernah mengalami situasi yang menakutkan itu: saat sedang mendemonstrasikan produk kepada klien, tiba-tiba aplikasi mengalami crash atau berperilaku tidak wajar. Kita benar-benar dibuat terkejut karena kode tersebut berjalan sempurna sehari sebelumnya, atau bahkan hanya beberapa menit sebelumnya.
Saat terdesak, reaksi klasik di industri ini adalah mengklaim, “Ini fitur, bukan bug!” atau berlindung di balik pembelaan pengembang yang populer: “Ini berjalan lancar di komputer saya.” Terdengar konyol, tetapi kita semua pernah mengalaminya.
Menariknya, kecerdasan buatan (AI) menghadapi masalah citra publik yang sangat mirip ketika sistem tersebut berhalusinasi atau memberikan jawaban yang secara faktual salah. Namun, jika kita menelaah lebih dalam arsitektur dasar sistem-sistem ini, kita akan menemukan sesuatu yang memikat: halusinasi sebenarnya adalah sebuah fitur, bukan bug.
Untuk memahaminya, kita harus mengenali tujuan dasar pembuatan LLM (Large Language Models). Pada intinya, LLM bukanlah basis data, mesin pencari, ataupun knowledge graph yang dikurasi; LLM adalah mesin matematis yang dirancang untuk melakukan interpolasi pola.
Sebuah makalah tahun 2024 yang sangat direkomendasikan, berjudul “Hallucination is Inevitable: An Innate Limitation of Large Language Models” (Halusinasi Tak Terelakkan: Keterbatasan Bawaan LLM), membahas fenomena ini melalui sudut pandang teori pembelajaran matematis formal. Para peneliti mendefinisikan dunia formal fungsi-fungsi yang dapat dihitung (computable functions) dan membuktikan secara matematis bahwa mustahil bagi LLM untuk mempelajari semua fungsi tersebut.
Agar LLM dapat menjamin tingkat halusinasi nol, diperlukan mekanisme untuk secara konsisten mengklasifikasikan apakah suatu pernyataan benar atau salah, atau menghitung hasil masalah logika apa pun secara sempurna. Para penulis menunjukkan bahwa menuntut LLM agar 100% bebas halusinasi secara matematis setara dengan memecahkan Halting Problem (Masalah Penghentian), salah satu masalah yang tidak dapat dipecahkan (undecidable) paling terkenal dalam ilmu komputer.
Karena Alan Turing telah membuktikan bahwa Halting Problem tidak dapat dipecahkan oleh fungsi komputasi apa pun, maka tidak ada algoritma deterministik yang dapat menjamin kebenaran logis secara sistematis untuk semua kemungkinan prompt (perintah). Ketika LLM dipaksa menghasilkan token untuk masalah yang tidak dapat diputuskan atau memiliki batasan komputasi, ia mau tidak mau akan melakukan tebakan. Tebakan probabilistik yang didasarkan pada informasi yang ada itulah yang kita sebut sebagai halusinasi. Pada akhirnya, para penulis menyimpulkan bahwa halusinasi bukanlah bug perangkat lunak atau kesalahan pelatihan yang dapat diperbaiki begitu saja dengan penambahan data. Karena LLM yang bersifat probabilistik tidak dapat mereplikasi fungsi kebenaran dasar (ground truth) yang dapat dihitung secara sempurna dalam segala situasi, potensi terjadinya halusinasi secara matematis sudah melekat dalam desain model tersebut. Hal ini merupakan keterbatasan bawaan dari arsitekturnya, sekaligus menjadi mekanisme inti yang menggerakkan kemampuan penalarannya.
