Gizil Uzay (Latent Space)

Gizil uzay (latent space), bir kodlayıcının görseller gibi yüksek boyutlu veriyi eşlediği, sıkıştırılmış ve öğrenilmiş, daha düşük boyutlu bir temsildir; algısal ya da anlamsal olarak benzer girdiler birbirine yakın bölgelere düşecek şekilde yapılandırılmıştır. Difüzyonla çalışan görsel modellerinde üretim süreci fiilen bu uzayda gerçekleşir: bir kodlayıcı görseli sıkıştırır, gürültüleme ve gürültü giderme döngüsünün tamamı bu küçük temsil üzerinde koşar ve sonunda bir kod çözücü tam çözünürlüklü resmi yeniden kurar. Difüzyon sürecini ham piksel uzayından çıkarıp gizil uzaya taşımak, modern görsel üretiminin ardındaki tartışmasız en büyük tek verimlilik yeniliğidir — Stable Diffusion soyundan gelen modellerin tüketici GPU'larında çalışabilmesinin nedeni tam olarak budur; eşdeğer bir piksel uzayı difüzyonu aynı çözünürlük için çarpıcı biçimde daha fazla hesaplama isterdi. Sıkıştırma oranı ise takas düğmesidir: daha sert sıkıştırın, üretim hızlanır ve ucuzlar, ama hattın hiçbir zaman çözebileceği azami ince ayrıntı düşer; çünkü kodlayıcının attığı ayrıntıyı kod çözücü geri icat edemez. İki zihinsel modeli düzeltmekte fayda var. Gizil uzay, bir JPEG'in olduğu anlamda sıkıştırılmış piksel değildir: yalnızca kendisiyle birlikte eğitilmiş belirli kod çözücü için anlam taşıyan öğrenilmiş bir temsildir; genel araçlarla açabileceğiniz kayıpsız, hatta doğrusal bir sıkıştırma değildir. Ve gizil uzaydaki bir nokta, kodu çözülene kadar sabit bir görsele karşılık gelmez — bu uzayda küçük hareketlerin sıçramalar yerine yumuşak biçimde değişen çıktılar üretmesinin, yani gizil ara değerleme ve dönüşüm efektlerini mümkün kılan özelliğin nedeni tam da budur. Geliştiriciler için pratik sonuç şudur: kodlayıcı-kod çözücü bileşeni tesisat değil, gerçek bir kalite değişkenidir. İnce ayrıntı sadakatini o belirler ve aynı temel model üzerinde bu bileşeni değiştiren topluluklar, modelin kendisini hiç yeniden eğitmeden belirgin biçimde farklı renk ve keskinlik karakteristikleri elde eder. Terim görsel üretimin dışında da karşınıza çıkar ve iki kullanımı birbirine karıştırmak kafa karışıklığı yaratır. Bir metin gömme modelinden gelen embedding'ler de aynı komşuluk özelliğine sahip öğrenilmiş bir vektör uzayında yaşar — benzer anlamlar birbirine yakın düşer — ancak bu vektörler yeniden kurulum için değil, karşılaştırma ve getirim için üretilmiştir ve bir embedding'i orijinal metne geri çeviren bir kod çözücü yoktur. Difüzyon modelinin gizil uzayı ise özel olarak, eğitilmiş bir kod çözücünün iliştirildiği bir sıkıştır-üret-yeniden kur uzayıdır. Biri bir sistemin "gizil uzayda arama yaptığını" söylüyorsa neredeyse her zaman embedding benzerliğini kastediyordur; biri bir modelin "gizil uzayda ürettiğini" söylüyorsa difüzyon anlamını kastediyordur. Pratikte gizil temsiller, metinden görsele üretim elinizdeyken görselden görsele üretim ile inpainting'i sunmanın neden ucuz olduğunu da açıklar: üçü de aynı temsil üzerinde aynı gürültü giderme döngüsünü koşar ve yalnızca döngünün neyden başladığı ile hangi bölgeleri değiştirmesine izin verildiği bakımından ayrışır.