Model Kalibrasyonu (Model Calibration)

Kalibrasyon, bir modelin güveninin gerçek doğruluğuyla ne kadar örtüştüğünü tanımlar. İyi kalibre edilmiş, "%80 eminim" diyen bir model olguların yaklaşık %80'inde haklıdır; kötü kalibre edilmiş bir model ise kendinden emin biçimde yanlış ya da gereksizce tereddütlüdür. Bu, modelin güvenini karar vermek için kullandığınız anda önem kazanır — yüksek güvenli cevapları otomatik onaylamak, düşük güvenlileri bir insana yönlendirmek veya bir sınıflandırıcıya eşik koymak. Güven kalibre değilse bu eşikler anlamsızdır. Araştırmalar, hizalama eğitiminin temel modelin kalibrasyonunu bozabildiğini bulmuştur; dolayısıyla akıcı, kendinden emin bir ton doğruluğun kanıtı değildir. Geliştiriciler için: modelin emin görünmesini emin olması sanmayın. Pratik not: güvene dayanıyorsanız kalibrasyonu kendi etiketli örneklerinizde ölçün — tahminleri belirtilen veya ima edilen güvene göre gruplayın ve her gruptaki gerçek isabet oranını kontrol edin. Mümkün olduğunda güveni, modelin "%90 eminim" gibi öz-beyanından değil, token olasılıklarından (logprobs) türetin; öz-beyan çoğu zaman güvenilmezdir.