Öz-Denetimli Öğrenme

Öz-denetimli öğrenme, verinin kendisini etikete dönüştürerek etiketsiz veri üzerinde model eğitir. Bir belirteci gizleyip modelden tahmin etmesini istersiniz; bir görüntü parçasını maskeleyip tamamlatırsınız; aynı fotoğrafın iki kırpımını alıp temsillerinin örtüşmesini şart koşarsınız. İşin içinde etiketleyici yoktur, ama eğitim sinyali denetimli öğrenmedeki kadar nettir; kimsenin elle etiketleyemeyeceği büyüklükteki derlemlerle çalışmayı mümkün kılan da budur. Eski iki kategorinin yerini almaz, arasında durur. Denetimli öğrenme her örnek için insan eliyle verilmiş bir hedef ister ve ne kadar etiketleme bütçeniz varsa onunla sınırlıdır. Denetimsiz öğrenme hiçbir hedef olmadan yapı arar. Öz-denetim ise hedefi girdiden üretir; böylece denetimli öğrenmenin gradyanlarını denetimsiz öğrenmenin veri hacminde elde eder. Modern dil modellerinin, çoğu gömme modelinin ve güncel konuşma ile görü çalışmalarının büyük kısmının arkasındaki hile budur. Geliştirici açısından asıl sonuç, etiketlerin hâlâ nerede önemli olduğudur. Öz-denetim genel bir temsil üretir; bunu bir sınıflandırıcıya, bir sıralayıcıya veya düzgün davranan bir asistana çevirmek yine etiketli örnek ister — yalnızca sıfırdan eğitimin isteyeceğinden çok daha azını. Bir modeli kurmak yerine uyarlarken küçük, temiz ve göreve özgü bir veri kümesinin büyük bir derlemeden daha değerli olmasının nedeni budur.