Zero-Shot Prompting (Sıfır Örnekli İstem)

Zero-shot prompting, doğru girdi-çıktı çiftlerine dair hiçbir işlenmiş örnek sunmadan, büyük bir dil modelinden bir görevi doğal dilde tanımlayarak gerçekleştirmesini istemek anlamına gelir. Terim, makine öğrenmesindeki "zero-shot learning"den ödünç alınmıştır; burada bir model, hiç açıkça eğitilmediği veya ince ayar yapılmadığı bir görevi yerine getirir. Claude ve GPT-4 sınıfı modeller gibi modern temel modeller birçok görevde — sınıflandırma, özetleme, çeviri, basit çıkarım — güçlü zero-shot performansı gösterir, çünkü ön eğitimleri onları benzer talimatların takip edildiği milyarlarca örneğe maruz bırakmıştır, böylece yalnızca talimattan genelleme yapabilirler. SaaS geliştiricileri için zero-shot prompting, herhangi bir yapay zeka özelliği için en hızlı ve en ucuz başlangıç noktasıdır: örnek derlemesi yok, ince ayar veri kümesi yok, sadece açık bir talimat. Görev yaygın, iyi tanımlanmış olduğunda ve modelin eğitim sırasında muhtemelen benzer kalıplar gördüğü durumlarda (ör. "bu e-postayı iki cümlede özetle," "bu metinden fatura toplamını çıkar," "bunu İspanyolca'ya çevir") doğru seçimdir. Modelin görmemiş olacağı alışılmadık, şirkete özgü biçimlendirme gereksinimleri, incelikli değerlendirmeler veya alana özgü kurallar içeren görevlerde daha düşük performans gösterme eğilimindedir — bu durumlarda few-shot prompting (örnek ekleme) genellikle güvenilirliği önemli ölçüde artırır. Somut bir örnek: bir içerik denetleme özelliği için zero-shot bir prompt: "Aşağıdaki kullanıcı yorumunu SAFE, SPAM veya TOXIC olarak sınıflandır. Yalnızca etiketle yanıt ver.\n\nYorum: \"Ücretsiz takipçiler için kanalıma göz atın!!! bio'daki link\"" — model, hiçbir örneğe ihtiyaç duymadan doğru şekilde "SPAM" döndürür, çünkü "spam benzeri tanıtım yorumu" kapsamlı şekilde gördüğü bir kalıptır. Bunu "bu destek biletini kendi iç 12 kategorili taksonomimize göre sınıflandır" gibi şirkete özgü bir görevle karşılaştırın — buradaki zero-shot performansı genellikle vasattır çünkü model o kesin taksonomiyi hiç görmemiştir ve üretim düzeyinde doğruluğa ulaşmak için few-shot örnekleri (veya promptta ayrıntılı bir kategori sözlüğü) gerekli hale gelir. Ekipler tipik olarak zero-shot ile başlar, bir değerlendirme kümesine karşı doğruluğu ölçer ve yalnızca zero-shot'un yetersiz kaldığı yerlerde few-shot örnekleri ekler — modelin zaten iyi ele aldığı görevler için promptları aşırı mühendislik yapma dürtüsüne direnirler. Zero-shot performansı ayrıca ardışık model nesilleri boyunca önemli ölçüde iyileşmiştir, yani daha eski bir modelde güvenilir çalışması için few-shot örnekleri gerektiren bir görev, artık daha yeni, daha yetenekli bir modelde zero-shot olarak çalışabilir — bu, bir üretim promptundaki birikmiş few-shot örneklerinin hâlâ jeton maliyetlerini hak edip etmediğini periyodik olarak yeniden test etmek için iyi bir nedendir; bir yıl önce yapılan bir prompt tasarım kararının hâlâ optimal olduğunu varsaymak yerine.