Çapraz Doğrulama

Çapraz doğrulama, veriyi k katmana bölerek, her seferinde farklı bir katmanı test kümesi olarak ayırıp k kez eğiterek ve sonuçları ortalayarak bir modelin ne kadar iyi genelleştiğini kestirir. Tek bir keyfi bölmeden gelen tek bir puan yerine, yayılımı size tahminin hangi satırların nereye düştüğüne ne kadar bağlı olduğunu söyleyen k puan elde edersiniz. Asıl mesele bu yayılımdır. Küçük bir veri kümesinde tek bir ayrılmış küme puanı, salt çekiliş şansıyla birkaç puan oynayabilir ve ekipler bu oynamayı düzenli olarak gerçek bir iyileşme sanır; çapraz doğrulama belirsizliği görünür kılar ve aday modeller ya da hiperparametreler arasında daha adil bir karşılaştırma verir. Bedeli eğitim hesabının k katıdır; küçük ve orta veri kümelerinde standart, büyük modellerde ise nadir olmasının nedeni budur — orada iyi kurulmuş tek bir ayrılmış küme pratik seçimdir. Türevleri en az yöntem kadar önemlidir. Katmanlı bölmeler her katmanda sınıf dengesini korur ve seyrek sınıflı sınıflandırmada varsayılandır. Gruplu bölmeler aynı varlığa ait tüm satırları tek katmanda tutar; naif bir bölmenin sızdırmasının nedeniyle aynı nedenle. Zaman serisi çapraz doğrulaması büyüyen bir önek üzerinde eğitip bir sonraki pencerede sınar, asla geçmişte değil. Ve çapraz doğrulama model seçmek için kullanıldığında seçim işleminin kendisi tüm katmanları görmüş olur, dolayısıyla kazanan puan iyimserdir — dürüst bir sayı bildirmek için gerçekten hiç dokunulmamış bir nihai test kümesi yine gerekir.