Üretimi Bozmadan Bir Prompt Nasıl Değiştirilir

Bir prompt düzenlemesi üretim değişikliğidir

Promptlar koda benzemez. Bir metin kutusunda yaşarlar, insan dili gibi okunurlar ve birini değiştirmek on saniye sürer. Kimsenin kesinti saymadığı kesintilere yol açmalarının nedeni tam da budur: değişikliği reddedecek bir derleyici, bir tip hatası, bir yığın izi ve bir şeyin bozulduğu bariz bir an yoktur. Sistem yanıt vermeyi sürdürür. Yalnızca farklı yanıt verir.

Düzenleme bir iyileştirme olsa bile sonuçlar gerçektir. Yanıtları daha samimi kılmak için eklenen bir cümle, modeli çıktısını ayrıştırılabilir tutan yönergenin ötesine itebilir. Tek bir şikâyeti gidermek için sıkılaştırılan bir kural, sistemin eskiden hallettiği bir vakayı reddetmesine yol açabilir. İkisi de hata oranlarında görünmez ve ikisi de anında bütün kullanıcılara ulaşır.

Modeli sabitleyin, yapılandırmanın tamamını sürümleyin

Bir davranış değişikliğini bir nedene bağlayabilmek için önce değişen şeyleri denetlemeniz gerekir. Hareketli bir takma ad yerine açık bir model sürümüne başvurun ki bir sağlayıcı güncellemesi sizin seçmediğiniz bir günde gelip prompt düzenlemenizin üstüne yıkılmasın.

Ardından promptu, model sürümünü, getirme ayarlarını, araç tanımlarını ve örnekleme parametrelerini tek bir sürümlenmiş ürün olarak ele alın. Davranış hepsinin çarpımıdır ve promptun model sürümünden bağımsız hareket edebildiği bir sistem, iki kişinin de hiçbir şeyin değişmediğinden içtenlikle emin olabildiği bir sistemdir.

Değerlendirme kümesini gerçek hatalardan kurun

Karşılaştırmak için sabit bir girdi kümesine ihtiyacınız var ve bu kümenin işe yarar sürümü derli toplu bir örneklem değildir. Vakaları gerçek trafikten çekin, ticari olarak önemli iş akışlarına ağırlık verin ve kasıtlı olarak zor olanlarla doldurun: belirsiz istekler, düşmanca girdiler, iyi bir yanıtı olmayan sorular ve halihazırda düzelttiğiniz her üretim hatası.

Olabildiğince çoğunu belirlenimci denetimlerle puanlayın: çıktı ayrıştırılıyor mu, şemaya uyuyor mu, zorunlu alan var mı, atıf var olan bir belgeyi gösteriyor mu. Geriye kalan yargıdır; yazılı bir ölçüte göre insanlar ya da yargıç rolündeki bir model puanlar. İkincisi ölçeklenir ama kararlarına güvenmeden önce insan etiketlerine karşı doğrulanması gerekir.

Kümeyi her değişiklikte koşturun ve kapı koyun

Değerlendirmeyi testlerinizi koşturan hattın içine bağlayın, sürümlenmiş yapılandırmadaki her değişiklikte tetikleyin ve sonuçları onları üreten commit'in yanında saklayın. Kapının amacı hedef bir puana ulaşmak değil, bir değişiklik sayıyı aşağı çektiğinde bilinçli bir karar zorunlu kılmaktır. Gerilemelerin çoğu burada bulunur ve burada yakalananların maliyeti sıfırdır.

Herkese değil bir dilime yayın

Değerlendirme kümesi canlı trafiğin bir vekilidir ve asla eksiksiz değildir; bu yüzden değişikliğin gerçeklikle kademeli tanışmasına izin verin. Yeni yapılandırmayı isteklerin küçük bir payına sunun, hızla ölçebildiğiniz işletme sinyallerini karşılaştırın — yükseltme oranı, ayrıştırma hataları, yeniden denemeler, gecikme, kullanıcı düzeltmeleri — ve ancak bunlar tuttuğunda genişletin.

Bu sürerken önceki yapılandırmayı sıcak tutun. Geri dönmek bir dağıtım gerektiriyorsa elinizde geri alma değil bir onarım vardır ve fark, kötü sürümü gören kullanıcı sayısıyla ölçülür.

Kullanılabilir bir yedeğe düşen acil kapatma anahtarı bulundurun

Davranışsal arızalar izlemenin yakaladığı türden değildir; bu yüzden özelliği dağıtım olmadan saniyeler içinde durduran bir kontrole ihtiyacınız olur. Kapalı, ürünün hayatta kalabileceği bir şey anlamına gelmelidir: önceki yapılandırma, daha basit belirlenimci bir yol, işi bir insana yönlendiren bir kuyruk ya da dürüst bir mesaj. Özelliği hata sayfasına çeviren bir anahtar, iş başa düştüğünde çevrilmez.

Gerilemeyi sonradan açıklayacak kadar günlükleyin

Saklanan her çıktı, kendisini üreten yapılandırma sürümünü taşımalıdır. Bu olmadan günlükleriniz ne olduğunu kaydeder ama neden olduğunu kaydetmez; bu da bir incelemenin ihtiyaç duyduğunun yarısıdır ve yeniden kurması en uzun süren yarısıdır. Bununla birlikte geçen haftaki bir kalite şikâyeti bir tartışma değil bir sorguya dönüşür ve ona yol açan vaka, değerlendirme kümesinin bir sonraki satırı olur.