Yapay Zeka Sağlayıcıları Arasında Baştan Yazmadan Nasıl Geçilir?

Bu konu neden ekiplerin beklediğinden erken gelir?

Üzerine kurduğunuz model, iki yıl sonra çalıştıracağınız model olmayacak. Sağlayıcılar eski sürümleri kendi takvimlerine göre kullanımdan kaldırır, fiyatlar oynar, yetenek liderliği el değiştirir ve eninde sonunda bir müşteri mevcut sağlayıcınızın hizmet vermediği bir bölgede ya da ortamda kurulum ister. Geçiş bir haftaya mal oluyorsa bunların hiçbiri kriz değildir. Sağlayıcıya özgü ayrıntılar kod tabanına yayıldığında ve neyin bozulacağını kimse söyleyemediğinde kriz olur.

Sağlayıcıyı tek bir kapının ardına koyun

En etkili tek karar, bir modele yapılan tüm çağrıları tek bir iç arayüzün ardında tutmaktır. Uygulamanız bir tamamlama, bir sınıflandırma ya da bir gömme ister; hangi sağlayıcının ve hangi SDK'nın yanıtladığını tek bir modül bilir. Bu büyük bir soyutlama değildir ve evrensel bir sarmalayıcı olmaya çalışmamalıdır — yalnızca bir sağlayıcının adlarının, parametrelerinin ve yanıt biçimlerinin göründüğü tek yer olması yeter.

Bu çizgiyi en sık aşan iki şey hata işleme ve akıştır. Hız sınırı yanıtları, yeniden deneme anlamları ve akış parça biçimleri sağlayıcılar arasında farklıdır; bir sağlayıcının özgül hata tipine göre dallanan ya da akış biçimini doğrudan ayrıştıran kod, yeniden yazacağınız koddur. İkisini de sınırda normalleştirin: uygulamanız kendi hata tiplerinizi ve kendi akış olaylarınızı görmelidir.

İstemlerinize, örneklerinize ve değerlendirmenize sahip çıkın

İstemler taşınabilir varlıklardır ve bir sağlayıcı konsoluna yapıştırılmış değil, deponuzda sürümlenmiş olarak yaşamalıdır. Aynısı az örnekli örnekler ve modelden doldurmasını istediğiniz her şema için geçerlidir. Geçiş yaptığınızda yeniden sınayacağınız girdiler bunlardır — ve en sık ayar gerektiren şey de bunlardır, çünkü iki model aynı ifadeye nadiren aynı biçimde yanıt verir.

Bir göçü kararlaştırılabilir kılan parça değerlendirme kümesidir. Sabit bir gerçekçi girdi kümesi ve yazılı kabul ölçütleriyle geçiş bir deneye dönüşür: ikisini de çalıştır, karşılaştır, karar ver. Bu olmadan "yeni model yeterince iyi mi?" sorusunun kanaatten başka yanıtı yoktur ve ekipler ya korkudan yerinde kalır ya geçip gerilemeleri müşterilerden öğrenir.

Gerçekten taşınması zor olan

Yalnızca istemci değişimi olmayan parçalar konusunda dürüst olun. İnce ayarlı bir model taşınmaz — yeni bir sağlayıcı yeniden eğitim demektir ve bu, umarız sakladığınız veri kümesini gerektirir. Gömmeler göründüğünden kötüdür: farklı modellerin vektörleri karşılaştırılabilir değildir, dolayısıyla gömme modelini değiştirmek tüm derleminizi yeniden gömmek ve yeniden dizinlemek, kesinti göze alınamıyorsa geçiş boyunca ikisini birden çalıştırmak demektir. Sağlayıcıya özgü bir özelliğe dayanan her şey — barındırılan bir asistan soyutlaması, tescilli bir araç çağırma uzantısı, kendi anlamları olan bir önbellekleme düzeneği — o özelliğin yeniden yazılmasıdır ve ayrılmanız gerekmeden önce bunlardan hangilerini benimsediğinizi bilmekte fayda vardır.

Ucuz sigorta

Üç alışkanlık kapıyı neredeyse bedelsiz açık tutar. Modeli bir sabit değil ortam düzeyinde bir ayar yapın; böylece dağıtım yapmadan başkasına yönelebilirsiniz. Her istekle birlikte model adını ve sürümünü günlüğe yazın; böylece kalite kaydığında modelin altınızdan değişip değişmediğini anlayabilirsiniz. Ve değerlendirme kümenizi ara sıra alternatif bir sağlayıcıya karşı çalıştırın — üç ayda bir fazlasıyla yeterlidir. Bu tek alıştırma, kaçış kapağının gerçekten çalışıp çalışmadığını söyler, bir varsayımı ölçüme çevirir ve genellikle sınırı aşmış bir iki sızıntıyı daha ucuzken ortaya çıkarır.

Yönlendirme yalnızca yedek değil bir stratejidir

Arayüz bir kez var olduğunda farklı görevleri farklı modellere göndermek bir proje değil bir seçenek haline gelir. Basit sınıflandırma en yetenekli modelinizi gerektirmez ve daha ucuz bir model dar işlerde çoğu zaman ona denk gelirken maliyetin küçük bir kısmını tutar. Bu kendi başına yapmaya değerdir ve yararlı bir yan etkisi vardır: zaten iki sağlayıcıyla konuşan bir sistem üçüncüsüyle de konuşabileceğini kanıtlamıştır ve bunlardan herhangi birinin arızası artık bir kesinti olmaktan çıkar.