Altın Veri Kümesi

Altın veri kümesi (golden dataset), bir yapay zekâ özelliğini, sıradan kodu birim testlerinin koruduğu gibi test etmek için kullanılan, temsili girdilerle bilinen-doğru beklenen çıktıların (ya da kabul ölçütlerinin) eşleştirildiği, özenle seçilmiş ve sürüm denetimli bir settir. 'Demo iyi görünüyordu'yu gerçek bir regresyon kontrolüne çeviren eksik parçadır: bir komutu değiştirmeden, modeli takas etmeden ya da sağlayıcıyı yükseltmeden önce yeni yapılandırmayı altın sete karşı çalıştırır ve puanları karşılaştırırsınız. Vakalar üretimi yansıtmalı — yalnızca mutlu-yol örnekleri değil, karşılaştığınız dağınık uç durumları, düşmanca girdileri ve bilinen hata modlarını içermeli. Geliştiriciler için güvenilir yapay zekâ sunmanın en yüksek kaldıraçlı alışkanlığı budur: elle etiketlenmiş 20–50 vakayla başlayın, gerçek hataları kalıcı test vakalarına terfi ettirerek büyütün ve tam eşleşme, savlar ya da bir LLM yargıçla puanlayın. Uyarılar: kirlenmeyi önlemek için onu hiçbir eğitim ya da few-shot bağlamında tutmayın, etiketleri düzenli gözden geçirin ('iyi' tanımınız kayar) ve küçük, yanlı bir setin sahte güven verdiğini unutmayın.