Model Çöküşü (Model Collapse)

Model çöküşü, modellerin nesil ardına önceki modeller tarafından üretilen veri üzerinde eğitilmesiyle ortaya çıkan bozulmadır. Yapay zekâ çıktısı web'i doldurup bir sonraki modelin eğitim setine kazınırken önce nadir örüntüler ve dağılımın uç kuyrukları kaybolur; çıktılar giderek yavanlaşır, ortalamaya yakınsar, kendi kendini pekiştiren bir tekdüzeliğe kayar ve nihayetinde gerçek dünyaya olan sadakatini yitirir. Araştırmacılar bunu hem teoride hem de her neslin çoğunlukla bir öncekinin sentetik çıktısıyla eğitildiği deneylerde göstermiştir. SaaS geliştiricileri için ders iki yönlüdür. Birincisi, sentetik veriyi dikkatsizce kullanmak — bir modeli tamamen başka bir modelin çıktısıyla eğitmek — kaliteyi sessizce zehirleyebilir, bu yüzden gerçek, insan verisinden güçlü bir çıpa tutun. İkincisi, model çöküşü, veri kökeninin neden değer kazandığının bir nedenidir: doğrulanmış, insan tarafından üretilmiş özgün veri kümeleri bir avantaja dönüşür. Sentetik veri hâlâ faydalıdır, ancak güvenli kalması için filtreleme, gerçek sinyallere dayandırma ve makine çıktısıyla değiştirmek yerine karışımda insan verisini tutmak gerekir.