Gölge Dağıtım (Shadow Deployment)

Gölge dağıtım, yeni bir modeli canlı modelin yanında çalıştırır ve ona tam olarak aynı üretim trafiğini besler — ancak yanıtları kullanıcılara gösterilmez, analiz için kaydedilir. Mevcut model her gerçek isteği yanıtlamaya devam eder, dolayısıyla kullanıcılar adaya hiç maruz kalmaz; yine de adayın gerçek, filtrelenmemiş girdilerde nasıl davranacağını gözlemlersiniz. Bu, bir model değişikliğinin riskini azaltmanın en güvenli yoludur. Yeni sürümün gecikmesini, hata oranını, altyapı maliyetini ve çıktı farklarını, tek bir müşteri görmeden önce mevcut modelle karşılaştırabilirsiniz. Bu, yeni modelin kullanıcıların küçük bir dilimine gerçekten yanıt verdiği canary yayınından farklıdır. Yapay zekâ geliştiricileri için bir aday LLM'i ya da istemi bir günlük gerçek trafik boyunca gölgelemek, sentetik testlerin kaçırdığı tuhaf uç durumları ortaya çıkarır. Pratik not: her iki çıktıyı yan yana kaydedin, otomatik olarak karşılaştırın ve yalnızca gölge sayıları sıkıcı derecede iyi göründüğünde bir canary aşamasına geçin.