Hareket Yakalama Sentezi (Motion Synthesis)

Yapay zeka hareket sentezi, geleneksel bir hareket yakalama (mocap) stüdyosuna vücut giysili işaretleyiciler ve özel kamera dizileriyle ihtiyaç duymadan, minimal bir girdi sinyalinden — bir metin açıklaması ("kendinden emin yürüyen, sonra durup endişeyle etrafına bakan bir karakter"), gündelik, yapılandırılmamış bir referans video (sıradan telefon görüntüsünden hareket çıkarıp bunu iskeletli bir 3D karaktere yeniden hedefleme) veya modelin akıllıca aralarını doldurduğu az sayıda elle yerleştirilmiş anahtar kareden — gerçekçi karakter hareketi, el jesti, yüz ifadesi veya tam vücut animasyonu üretilmesidir. Modeller, profesyonel olarak kaydedilmiş büyük hareket yakalama veri kütüphaneleri üzerinde eğitilerek, eklemlerin birbirine göre nasıl hareket ettiği, momentumun ve dengenin hangi pozların fiziksel olarak mümkün olduğunu nasıl kısıtladığı gibi doğal insan hareketinin istatistiksel yapısını öğrenir; bu da hiçbir aktör tarafından açıkça yakalanmamış veya kaydedilmemiş, tamamen yeni, fiziksel olarak makul hareket dizileri üretmelerini veya poz tahmini teknikleri kullanarak 2D bir videodan kullanılabilir bir hareket iskeleti çıkarıp bunu, kaynak hareketi kamerada gerçekleştiren kişiden farklı vücut oranlarına ve farklı iskelet yapısına sahip tamamen farklı bir 3D karakter modeline yeniden hedeflemelerini sağlar. SaaS geliştiricileri için neden önemli: hareket sentezi, oyun geliştirmede, sanal prodüksiyon/film ön görselleştirmede ve doğal jestlerden (el sallama, baş sallama, omuz silkme) oluşan bir kütüphaneye ihtiyaç duyan avatar/dijital insan ürünlerinde, ihtiyaç duyulan her hareket için mocap aktörleri ve stüdyo süresi kiralamadan karakter animasyonu için maliyet tabanını dramatik biçimde düşürür — bağımsız geliştiriciler, bir animasyon paketi lisanslamak veya bir mocap oturumu ayırtmak yerine, bir metin promptundan veya kendilerini istenen hareketi gerçekleştirirken çeken bir akıllı telefon videosundan bir "yürüme döngüsü" veya "boşta duruş kıpırdanması" animasyonu üretebilir. Ayrıca, bir avatar üretimi veya dijital insan ürününün, üretilen bir video veya canlı bir konuşma sırasında yalnızca dudak hareketini değil vücut dilini ve jesti de canlandırmasını sağlayan teknolojidir. Somut bir örnek — bir NPC animasyon kütüphanesi oluşturan bağımsız bir oyun stüdyosu: (1) ekibin arka plan karakteri için bir "sinirli kıpırdanma" boşta durma animasyonuna ihtiyacı vardır ancak mocap bütçesi yoktur; (2) bir geliştirici, sade bir odada istenen hareketin kaba bir yaklaşımını gerçekleştirirken kendini telefonla filme alır; (3) video, video tabanlı poz tahmini yoluyla bir poz iskeleti çıkaran ve bunu oyunun mevcut karakter iskeletine yeniden hedefleyen, bu süreçte gürültülü telefon videosu hareket verisini düzelten ve temizleyen bir hareket sentezi API'sine yüklenir; (4) ortaya çıkan animasyon klibi doğrudan oyun motorunun animasyon durum makinesine aktarılır.