Yapay Zekâ Halüsinasyonu Nedir? Modeller Neden Uydurur

Sözcük ne anlama geliyor

Halüsinasyon, bir modelin yanlış bir şey üretirken tam olarak doğru olduğu zamanki kadar kendinden emin görünmesidir. Uydurulmuş bir atıf, makul ama var olmayan bir API metodu, icat edilmiş bir istatistik, şirketinizde hiç olmamış bir politika. Sözcük kötü bir mecazdır — algılanan bir şey yoktur — ama gerçek ve belirli bir şeyi adlandırır: iyi biçimlenmiş, bağlama uygun ve doğru olmayan, metinde onu ayırt eden hiçbir sinyal taşımayan çıktı.

Neden olur

Bir dil modeli, doğrulayabildiği olguları ifade etmek üzere değil metnin olası devamlarını üretmek üzere eğitilir. Bir atıf istendiğinde, atıf biçiminde bir şey üretir: makul yazarlar, makul bir dergi, makul bir yıl. Bu süreçte hiçbir şey bir kaynağa başvurmaz, çünkü başvurulacak bir kaynak yoktur; model kayıtlar değil istatistiksel düzenlilikler tutar. Akıcılık ve doğruluk ayrı özelliklerdir ve yalnızca biri optimize edilmiştir.

Neden basitçe düzeltilemez

Bu, yetersiz eğitimden değil modellerin çalışma biçiminden gelir. Bir modelin, binlerce kez gördüğü bir olguyu ilk kez tamamladığı bir örüntüden ayıran içsel bir işareti yoktur; "yalnızca eminsen cevapla" demenin sanıldığından çok daha az işe yaramasının nedeni budur. Modelin güveni, bilgisinin bir ölçümü değildir; metnin bir özelliğidir. İşe yarayan her hafifletme, modelden daha çok çabalamasını istemekle değil modelin dışına bir şey eklemekle işe yarar.

En olası olduğu yerler

Risk öngörülebilir biçimde yoğunlaşır. Modelin nadiren görmüş olacağı belirli olgular: küçük şirketler, yeni olaylar, niş API'ler, kesin sayılar. Bilgi kesim tarihinden sonrası; modelin verisi yoktur ama boşluğun farkındalığı da yoktur. Yanlış bir öncül içeren sorular; model bunu sorgulamak yerine çoğu zaman kabul edip üzerine inşa eder. Ve uzun üretimler; erken bir uydurma sonrasındaki her şeyin temeli olur.

Gerçekte neyi azaltır

Temellendirme ana kaldıraçtır: ilgili kaynak materyali getirip modelden yalnızca verdiğiniz şeyden yanıt vermesini, ideal olarak her iddiayı hangi pasajın desteklediğini göstermesini istemek. Bu problemi ortadan kaldırmaz — model getirilen bir pasajı yanlış okuyabilir ya da fazla genişletebilir — ama hatayı uydurmaktan yanlış yorumlamaya çevirir ki bunu yakalamak çok daha kolaydır. İkincisi kısıtlamadır: bir şemaya karşı yapılandırılmış çıktı istemek, böylece cevap makullük için okunmak yerine mekanik olarak doğrulanabilir. Üçüncüsü doğrulamadır: taslak hakkında denetlenebilir sorular üretip bunları bağımsız yanıtlayan ikinci bir geçiş.

Altındaki ürün kararı

Oranı sıfıra indiremediğiniz için tasarım sorusu, geçenleri kimin yakaladığıdır. Bir kişinin her çıktıyı incelediği bir taslak aracının kabul edilebilir bir yanıtı vardır. Müşteriye dönük bir sisteme yazan gözetimsiz bir hattın yoktur ve hiçbir miktarda komut mühendisliği bunu sağlamaz. En güvenilir koruma daha iyi bir komut değil, yanlış bir cevabın görünür ve ucuz olduğu bir iş akışıdır.

Ölçmek

Halüsinasyonu bir sezgi olarak ele alan ekipler iyileşip iyileşmediklerini hiç öğrenmez. Doğru cevapları bilinen sabit bir soru kümesi kurun — doğru yanıtın "bilmiyorum" ya da "bu verilen belgelerde yok" olduğu bazı sorular dahil — ve modeli, komutu ya da getirmeyi her değiştirdiğinizde bu kümeye karşı puanlayın. O reddetme durumları en çok önemli olanlardır ve bir değerlendirme kümesinden neredeyse her zaman eksik olanlardır.

Bunu dürüstçe anlatmak

Ürününüz bir dil modeli kullanıyorsa, kullanıcılar eninde sonunda kendinden emin bir yanlışla karşılaşacak. Bunu arayüzde açıkça söylemek, elinizde olduğunda kaynakları göstermek ve düzeltmeyi kolaylaştırmak, uydurmayı olgu olarak sunarken yakalanmaktan daha az güven kaybettirir. Hata beklenendir; onu imkânsız gibi sunmak kullanıcıların affetmediği kısımdır.