Kare Enterpolasyonu (Frame Interpolation)

Kare enterpolasyonu, bir kaynak videonun mevcut iki ardışık karesi arasına oturan, tamamen yeni, fiziksel olarak makul ara kareler üreten bir yapay zeka video tekniğidir; algılanan hareketi yumuşatmak veya görüntüyü basitçe kareleri kopyalamadan veya çapraz geçiş yapmadan daha düşük bir kare hızından daha yüksek bir kare hızına (örneğin 24fps'ten 60fps'e) dönüştürmek için kullanılır — bu, hızlı hareket üzerinde görünür hayalet görüntü/bulanıklık yapaylıkları üreten daha eski, yapay zeka olmayan enterpolasyon yöntemlerinin yaptığı şeydir. Nöral kare enterpolasyonu modelleri (RIFE, DAIN ve Topaz Video AI gibi araçlara ve çoğu modern yapay zeka video üreticisine doğrudan yerleştirilmiş enterpolasyon modülleri), optik akışı — içeriğin tam olarak nasıl hareket ettiğini ve iki kaynak kare arasında nereye ineceğini tanımlayan yoğun, piksel bazlı bir hareket vektörü alanı — tahmin eder ve bu hareket tahminini, iki kare arasında ham piksel değerlerini basitçe çapraz geçişle karıştırmak veya harmanlamak yerine, her nesnenin o kesirli zaman noktasında gerçek hareket yolu boyunca doğru şekilde konumlandığı gerçekten yeni bir ara kare sentezlemek için kullanır. Bu, özellikle hızlı hareket eden nesneler veya karmaşık örtüşme (bir nesnenin kısaca başka bir nesnenin arkasından geçmesi) için çok daha pürüzsüz, daha doğal görünen hareket üretir — saf kare harmanlamanın bir izleyiciye hemen yanlış görünen belirgin, rahatsız edici çifte pozlama tarzı hayalet görüntü yapaylıkları ürettiği durumlar. SaaS geliştiricileri için neden önemli: kare enterpolasyonu, en doğrudan biçimde yapay zeka video sentezi araçlarının dahili bir iş akışı bileşeni olarak ilgilidir — birçok metinden videoya ve video sentezi modeli, maliyet/hız nedenleriyle doğal olarak daha düşük bir kare hızında (örneğin 8-16fps) üretir, ardından her karenin doğrudan çok daha pahalı temel difüzyon modeliyle üretilmesi yerine, pürüzsüz, standart bir teslim kare hızına (24-60fps) ulaşmak için daha ucuz bir son işleme geçişi olarak kare enterpolasyonu uygular. Ayrıca, eski düşük kare hızlı arşiv görüntülerini modern ekranlar için yukarı dönüştüren video restorasyonu/yeniden ustalık SaaS ürünleriyle ve mevcut kareleri basitçe yavaşlatmak yerine (bu kesik kesik görünür) görüntüyü pürüzsüzce uzatmak için ekstra kare enterpole eden ağır çekim efekt araçlarıyla ilgilidir. Somut bir örnek — bir yapay zeka video üretim platformunun maliyet optimizeli render iş akışı: (1) GPU maliyetlerini yönetilebilir tutmak için, temel video difüzyon modeli bir klibi 12fps'te üretir; (2) doğal olarak 24fps'te üretmek için çok daha yüksek hesaplama maliyeti ödemek yerine, platform ham 12fps çıktıyı, mevcut her kare çifti arasında yeni bir sentezlenmiş kare üreten bir kare enterpolasyonu modelinden geçirir; (3) sonuç, doğal 24fps difüzyonun üretim maliyetinin bir kesri karşılığında pürüzsüz bir 24fps nihai video olur; (4) enterpolasyon adımı, temel üretim maliyetini 2 katına çıkarmak yerine yaklaşık 5-10 saniye işleme süresi ekler.