Derin Öğrenme

Derin öğrenme, kendi özniteliklerini öğrenecek kadar derin sinir ağlarıyla yapılan makine öğrenmesidir. Klasik makine öğrenmesinde neyin ölçüleceğine bir insan karar veriyordu — kelime sayıları, piksel histogramları, elle tasarlanmış sinyaller — ve algoritma bu girdileri ağırlıklandırıyordu. Derin bir ağa ise ham sayılabilecek veri ve üst üste dizilmiş çok sayıda katman verilir; her katman kendi altındakinden inşa edilen bir temsil öğrenir: kenarlar, sonra şekiller, sonra nesneler; karakterler, sonra kelimeler, sonra anlam. Bu ara kavramları kimse belirtmez; yaklaşımın öznitelik mühendisliğinin tıkandığı problemlere ölçeklenmesinin ve bugün neredeyse her yetkin dil, görsel, konuşma ve video modelinin temelinde durmasının nedeni budur. Üç şey bunu mümkün kıldı ve üçü de teorik değil pratiktir. Veri: milyonlarca ya da milyarlarca parametreli katmanlar muazzam eğitim kümeleri ister; internet bunu sağladı. Hesaplama: işin içindeki matris aritmetiği GPU'lara uyuyor, böylece yıllar sürecek eğitim haftalara indi. Ve mimari: görseller için evrişimler, ardından diziler için transformer'lar, ağlara alanına uygun yapısal önyargıyı verdi. Birini çıkarın, alan 2010'da kaldığı yerde kalır. Maliyetler, faydaların ayna görüntüsüdür. Model kendi temsilini öğrendiği için akıl yürütmesini ağırlıklardan okuyamazsınız; yorumlanabilirliğin bir kod incelemesi değil bir araştırma alanı olmasının nedeni derin modellerdir. Ölçek gerektirdikleri için sıfırdan bir sınır modeli eğitmek neredeyse hiçbir şirketin ulaşamayacağı bir iştir; pratik akışın önceden eğitilmiş bir modeli alıp uyarlamak — ince ayar yapmak ya da çoğu zaman sadece komut vermek — olmasının nedeni de budur. Ve kurallardan akıl yürütmek yerine eğitim dağılımı üzerinde ara değer bulduklarından, kural tabanlı sistemlerin başarısız olmadığı biçimlerde başarısız olurlar: kendinden emin, akıcı ve sıradan görünen girdilerde. Bir SaaS geliştiricisi için sonuç şudur: derin öğrenme nadiren yaptığınız bir şeydir; bir API üzerinden tükettiğiniz bir şeydir ve mühendislik emeğiniz ona verdiğiniz veriye ve döndürdüğü şeyin etrafındaki korkuluklara gider.