Chain-of-Verification

Chain-of-Verification (CoVe, doğrulama zinciri), halüsinasyonu azaltmaya yönelik bir kalıptır: model önce bir yanıt taslağı hazırlar, sonra bu taslaktaki iddialar hakkında bir dizi bağımsız doğrulama sorusu üretir, her birini taslaktan etkilenmeden ayrı ayrı yanıtlar ve son olarak çelişkileri gideren gözden geçirilmiş bir yanıt ortaya koyar. Meta AI (Dhuliawala vd., 2023) tarafından tanıtılan yöntemin temel fikri şudur: modeller çoğu zaman tek ve kendinden emin bir geçişte her şeyi doğru yapmaktansa, tek bir olguyu yalıtılmış şekilde kontrol etmede daha başarılıdır. Olguya duyarlı bir şey geliştiren SaaS ekipleri için — kullanıcı verisi özetleri, araştırma asistanları, destek yanıtları — CoVe, uydurma ayrıntıları kullanıcıya ulaşmadan yakalayan yapılandırılmış bir öz-denetimdir. Bedeli, yanıt başına birkaç ek model çağrısıdır; bu yüzden her istek için değil, yüksek riskli çıktılar için saklamak en iyisidir. Halüsinasyonu azaltır ama ortadan kaldırmaz — doğrulama yanıtları da yanlış olabilir. Bu nedenle kesin doğruluk garantisi için güvenilir bir kaynağa karşı retrieval ve insan denetimiyle birleştirin.