Uzman Karışımı (Mixture of Experts, MoE)

Uzman Karışımı (MoE), her girdinin modelin tüm parametre kümesinden geçtiği ("yoğun" bir model) yaklaşımın aksine, modelin birçok daha küçük, uzmanlaşmış alt ağdan ("uzmanlar") oluştuğu ve hafif bir yönlendirme mekanizmasının her belirli girdi jetonunu (token) hangi birkaç uzmanın işleyeceğine karar verdiği bir sinir ağı mimarisi tasarımıdır — yani model çok daha büyük bir toplam parametre sayısına sahip olsa bile, herhangi bir girdi parçası için modelin toplam parametrelerinin yalnızca bir kısmı gerçekten etkinleşir. Bu, SaaS ve yapay zeka geliştiricileri için son derece önemlidir çünkü maliyet/yetenek dengesini olumlu yönde değiştirir: bir MoE modeli, çok sayıda uzmana yayılmış geniş yetenek ve uzmanlaşmış bilgi sağlayan çok büyük bir toplam parametre sayısına sahip olabilirken, çıkarım (inference) maliyetini çok daha küçük yoğun bir modelinkine yakın tutabilir, çünkü her jeton için yalnızca "aktif" parametrelerin hesaplanması gerekir. Mistral'in Mixtral modelleri ve muhtemelen en büyük kapalı öncü modellerin bazıları dahil olmak üzere önde gelen birçok öncü ve açık ağırlıklı model MoE mimarilerini kullanır, çünkü bu, çıkarım maliyetini ve gecikmeyi orantısız şekilde artırmadan toplam model yeteneğini ölçeklendirmek için bilinen en etkili tekniklerden biridir. Somut bir örnek: varsayımsal bir MoE modeli toplamda 141 milyar parametreye sahip olabilir ve bunlar 8 uzmana dağılmış olabilir, ancak her jetonu aynı anda sadece 2 uzmandan geçirebilir — bu da herhangi bir isteğin çıkarım maliyeti ve gecikmesinin, modelin tam kapasitesi (ve kullanılmasa bile tüm uzmanları depolamak için gereken bellek) 141 milyarın tamamını yansıtsa bile, yaklaşık 39 milyar aktif parametreli yoğun bir modele benzediği anlamına gelir. Geliştiriciler için bu, bazı çok yetenekli modellerin neden şaşırtıcı derecede hızlı ve çalıştırılması uygun maliyetli olduğunu açıklar — MoE genellikle bunun mimari nedenidir — ve MoE modellerinin biraz alışılmadık bir kaynak profiline sahip olmasının nedenini de açıklar: modelin tamamını (girdiye bağlı olarak hangi uzmanların etkinleşeceği önceden tahmin edilemediği için tüm uzmanları) barındıracak kadar bellek/VRAM'e ihtiyaç duyarlar, ancak istek başına gerçek işlem yükü eşdeğer toplam boyuttaki yoğun bir modelden çok daha düşüktür — bu, kendi altyapınızda barındırma gereksinimlerini değerlendirirken önem taşır. MoE mimarileri ayrıca yoğun modellerden farklı operasyonel hususlar da getirir: yönlendirme kararları jeton başına gerçekleştiği ve aynı istek içindeki jetonlar arasında değişebildiği için, birden fazla kullanıcının isteklerini verim (throughput) verimliliği için toplu işlemek (batching) yoğun bir modele göre (her jetonun aynı hesaplama yolunu izlediği) daha karmaşıktır ve MoE modelleri için sunum altyapısının ölçekte maliyet ve gecikmeyi optimize ederken bunu hesaba katması gerekir — bu ayrıntı MoE modellerini standart bir API üzerinden kullanan geliştiriciler için çoğunlukla görünmezdir, ancak bir modeli kendi altyapısında barındıran ekipler için doğrudan ilgilidir.