Sinir Ağı

Sinir ağı, her biri girdilerinin ağırlıklı toplamını hesaplayıp sonucu doğrusal olmayan bir aktivasyondan geçiren basit birim katmanlarından kurulmuş bir fonksiyondur. Bu katmanlardan birkaçını üst üste koyun ve bileşik fonksiyon, elle yazılamayacak kadar dolaşık ilişkilere yaklaşabilir; matematiksel öncül tamamen budur. Biyolojik ad tarihsel bir kazadır ve etkin biçimde yanıltıcıdır: ağdaki hiçbir şey bir sinapsı modellemez ve onları beyinlere benzeterek düşünmek, çok sayıda düğmesi olan türevlenebilir fonksiyonlar olarak düşünmekten daha kötü sezgiler üretir. İşin ilginç kısmı eğitimde olur. Bir kayıp tanımlarsınız — mevcut çıktının ne kadar yanlış olduğunu söyleyen bir sayı — sonra geri yayılımla her ağırlığın bu hataya nasıl katkıda bulunduğunu hesaplar ve her ağırlığı hatayı azaltan yönde biraz kaydırırsınız. Bunu milyonlarca örnek üzerinde tekrarlayın; ağ, yararlı çıktılar üreten ağırlıklara yerleşir. Doğrusal olmama, göründüğünden daha önemlidir: o olmadan herhangi bir katman yığını cebirsel olarak tek bir doğrusal dönüşüme çöker ve derinlik size hiçbir şey kazandırmaz. Mimari, bu katmanların nasıl bağlandığı seçimidir ve veri hakkında bir varsayımı kodlar. Evrişimli ağlar ağırlıkları uzamsal konumlar arasında paylaşır, çünkü bir kedi karede nerede olursa olsun kedidir. Yinelemeli ağlar bir dizi boyunca gizli durum taşır, çünkü dil sırayla gelir. Transformer'lar bu yinelemeyi dikkatle değiştirir; her konumun diğer her konuma doğrudan bakmasına izin verir ve eğitimi paralelleştirilebilir kılan, dolayısıyla bugünün model ölçeğini olanaklı yapan şey budur. Bir geliştirici için pratik sonuçlar sıradan ve içselleştirmeye değer. Bir ağın çıktısı, doğru cevapla ilişkili olacak biçimde biçimlendirilmiş bir sayıdır, onun türetilmesi değil; bu yüzden kendinden emin biçimde yanlış olabilir, eğitim verisindeki her önyargıyı yansıtır ve gördüğüne benzemeyen girdilerde sessizce bozulur. Bunların hiçbiri daha dikkatli komut yazmakla düzelmez; fonksiyonun bir özelliğidir ve izleme ile değerlendirmenin isteğe bağlı ekler değil modeli sevk etmenin parçası olmasının nedenidir.