Halüsinasyon (LLM Uydurması) Nedir?

Halüsinasyon, modelin akıcı ve kendinden emin görünen ama kaynağı olmayan bilgi üretmesidir. Yanlış tarih, uydurma mevzuat maddesi, var olmayan ürün kodu veya hatalı teknik öneri bu duruma örnek olabilir.

Bu sorun, LLM modellerinin metni olasılıksal olarak üretmesinden kaynaklanır. Model her zaman “bilmiyorum” demeyi seçmez; eksik bağlam, güncel olmayan eğitim verisi veya belirsiz soru olduğunda makul görünen bir cümle kurabilir.

Neden Oluşur?

Halüsinasyon çoğunlukla üç durumda artar: modelin yeterli kaynağa erişememesi, kullanıcı sorusunun belirsiz olması veya sistemin cevabı kaynakla doğrulamaması. Uzun bağlamlarda önemli ayrıntıların gözden kaçması da riski yükseltir.

RAG, modelin şirket dokümanları veya güncel veriler üzerinden yanıt vermesini sağlayarak riski azaltır. Ancak yanlış belge getirilirse veya model belge dışına taşarsa halüsinasyon yine oluşabilir.

Korunma ve İş Riski

Müşteri destek, hukuk, finans, sağlık, entegrasyon ve operasyon kararlarında uydurma bilgi doğrudan zarara yol açabilir. Bu yüzden kritik sistemlerde kaynak gösterme, cevap kapsamını sınırlama, düşük güven durumunda insan onayı ve AI guardrails kullanılmalıdır.

Halüsinasyon tamamen sıfırlanacak bir hata değil, ölçülüp yönetilecek bir risktir. Test setleri, hata örnekleri ve kullanıcı geri bildirimleri düzenli izlenmelidir.