Veri Ekibi Olmadan Yapay Zeka Çıktı Kalitesi Nasıl Ölçülür?

İzlenimler neden yetmez?

Bir yapay zeka özelliği genellikle şöyle yargılanır: biri istemi değiştirir, üç kez dener, gördüğünü beğenir ve yayınlar. Bu belirli bir nedenle başarısız olur: model çıktısı çağrılar arasında değişir, denemeye denk gelen üç girdi nadiren zor olanlardır ve önceki sürümün aynı girdide ne yaptığını kimse hatırlamaz. Sabit bir girdi kümesi ve tutarlı bir puanlama yolu olmadan gerçek bir iyileşmeyi iyi bir günden ayıramazsınız ve bir değişikliğin başka bir şeyi bozduğu günü fark etmezsiniz.

Yirmi gerçek girdiyle başlayın

Küçük bir ekibin yapabileceği en değerli tek şey gerçek girdilerden bir sınama kümesi toplamaktır. Yirmi başlamak için yeterlidir ve hiç yoktan kat kat iyidir. Bunları uydurmak yerine gerçek kullanımdan alın ve tuhaf olanları bilerek katın: boş alan, çok uzun girdi, başka dilde bir istek, özelliğin kapsamının hemen dışındaki soru, şikâyete yol açan örnek. Yalnızca uslu örneklerden oluşan bir küme size her şeyin yolunda olduğunu söyler.

Her girdi için kabul edilebilir bir yanıtın neye benzediğini yazın. Tam sözcükleri değil — önemli özelliklerin kısa bir tarifini. "Doğru plan kademesini adlandırır, fiyat uydurmaz, dört cümleyi geçmez." Bu tarif, puanlamayı istemi yazmamış biri için yinelenebilir kılan şeydir.

Yineleyebileceğiniz biçimde puanlayın

On üzerinden bir kalite hissi yerine az sayıda geçti/kaldı denetimi kullanın. Çıktı başına üç ila beş ölçüt iyi işler: verilen bağlama olgusal olarak dayanıyor mu, istenen biçimde mi, gerektiğinde reddediyor mu, uzunluk sınırlar içinde mi. İkili ölçütler kişiler ve haftalar arasında on üzerinden puandan çok daha tutarlıdır ve size yalnızca bir şeyin bozulduğunu değil neyin bozulduğunu söyler.

Burada bir hesap tablosu meşru bir araçtır. Yanda girdiler, her sürüm için bir sütun, her ölçüt için bir hücre. Çoğu ekibin bu döngüyü sıkıcı bulacak sıklıkta çalıştırana dek bir değerlendirme çerçevesine ihtiyacı yoktur; otomatikleştirmenin doğru anı da tam olarak orasıdır, öncesi değil.

İlk turu modele yaptırın ama denetleyin

Ölçütler yazıya döküldükten sonra bir model, bunları kendi çıktısına insan okumasının çok altında bir maliyetle uygulayabilir. Bu, mekanik denetimlerde iyi çalışır — biçim, uzunluk, gerekli bir alanın bulunup bulunmadığı, bir iddianın verilen bağlamda geçip geçmediği. Güvenmeden önce otuz çıktıyı iki yöntemle de puanlayın ve modelin sizinle ne sıklıkla uyuştuğuna bakın. Çoğu zaman uyuşuyorsa toplu iş için kullanın ve bir örneklemi elle okuyun. Uyuşmuyorsa ölçütler muhtemelen belirsizdir ve bunları düzeltmek insanlara da yarar.

Bir sonucu dürüstçe yorumlamak

İki alışkanlık kendinizi kandırmanızı engeller. Birincisi, tüm kümeyi iki sürümde de çalıştırın, yalnızca düzeltmeye çalıştığınız durumları değil — bir istem değişikliğinin en yaygın sonucu üç girdiyi düzeltip iki başkasını bozmasıdır ve bunu ancak tam bir koşu gösterir. İkincisi, yirmi girdinin küçük bir örneklem olduğunu unutmayın: on altı geçişten on yediye çıkmak hiçbir şeyin kanıtı değildir. Küçük oynamaları gürültü sayın ve görülebilecek kadar büyük değişiklikler arayın ya da kümeyi büyütün.

Döngüyü canlı tutun

Bir değerlendirme kümesi ancak çalıştırıldığında işe yarar. Onu zaten var olan anlara iliştirin: bir istem değişikliği yayına girmeden önce, model değiştirdiğinizde ve ne olursa olsun sabit bir takvimde. Bildirilen her hatayı yeni bir durum olarak kümeye ekleyin; bu, destek şikâyetlerini kalıcı gerileme kapsamına çevirir. Ve kümeyi birkaç ayda bir gözden geçirin — gerçek kullanım kayar ve geçen yılın girdilerini yansıtan bir sınama kümesi, artık elinizde olan ürünü ölçmeyi sessizce bırakır.