Bağlam İçi Öğrenme (In-Context Learning)

Bağlam içi öğrenme (ICL), büyük dil modellerinin, modelin altta yatan ağırlıklarında herhangi bir gradyan güncellemesi, ince ayar (fine-tuning) veya yeniden eğitim yapılmaksızın, çıkarım anında prompt içinde sunulan bilgilerden -talimatlar, örnekler veya gösterimlerden- yeni bir göreve, formata veya kalıba uyum sağlayabilmesidir. Hem sıfır-atış (zero-shot) promptlamanın (yalnızca bir talimattan öğrenme) hem de az-atış (few-shot) promptlamanın (işlenmiş örneklerden öğrenme) altında yatan teorik temeldir ve büyük ölçekte eğitilmiş transformer tabanlı LLM'lerin en şaşırtıcı ve önemli ortaya çıkan (emergent) özelliklerinden biri kabul edilir: küçük modeller bağlam içi öğrenme becerisi neredeyse hiç göstermezken, çeşitli verilerle eğitilmiş yeterince büyük modeller, tek bir promptta yer alan yalnızca birkaç örnekten bile yeni, hatta oldukça keyfi veya uydurma formatları kavrayabilir. SaaS geliştiricileri için ICL'yi anlamak, prompt mühendisliğinin neden işe yaradığını ve birçok üretim görevinde neden genellikle fine-tuning'e tercih edildiğini netleştirir: model bir görevi prompt içeriğinden anında "öğrenebildiği" için ekipler, özel bir fine-tune edilmiş modeli eğitmenin ve barındırmanın maliyeti, gecikmesi ve MLOps yükü olmadan genel amaçlı temel modelleri şirkete özgü görevlere (özel kategorilendirme şemaları, marka sesi, alışılmadık çıktı formatları) uyarlayabilir -"eğitim verisi" her çağrıda yeniden gönderilen, prompta koyduğunuz örneklerden ibarettir. Fine-tuning'e kıyasla dezavantajı, ICL'nin yeni bir konuşma başladığı anda kalıbı "unutması"dır (o tek prompt/bağlam penceresinin ötesinde hiçbir şey kalıcı değildir) ve her istekte bağlam penceresi ile token bütçesi tüketmesidir; oysa fine-tuning kalıbı kalıcı olarak modelin ağırlıklarına işler, bunun bedeli ise bir eğitim hattı ve azalan esnekliktir. Pratikte, üretimdeki çoğu SaaS yapay zeka özelliği tamamen iyi tasarlanmış promptlar aracılığıyla bağlam içi öğrenmeye dayanır ve yalnızca önemli hacme, kararlı bir görev tanımına ve yatırımı haklı çıkaracak maliyet/gecikme baskısına ulaştıklarında fine-tuning'e yönelirler. Somut örnek: bir hukuk teknolojisi aracının, hiçbir kamuya açık modelin hiç görmediği, şirkete özgü 15 kategorilik bir taksonomiye göre maddeleri sınıflandırması gerekiyor. Ekip fine-tuning yapmak yerine, madde metnini tam kategori etiketleriyle eşleştiren, kategori başına 2 örnek (toplam 30 örnek) doğrudan prompta ekliyor. Eğitim sırasında bu taksonomiyi hiç görmemiş olan model, örneklerin yapısına dayanarak yeni maddeleri doğru şekilde sınıflandırıyor -bağlam içi öğrenmenin gerçekten yeni bir görevi anında çözdüğünün, bunun bedeli olarak her çağrıda daha uzun ve daha pahalı bir prompt gerektirdiğinin somut bir gösterimi. Ekibin hacmi büyüdükçe bu, fine-tuning'i değerlendirmek için doğal bir karar noktası da olur: görevin tanımı istikrar kazandığında (taksonomi değişmeyi bıraktığında) ve çağrı hacmi, her istekte 30 bağlam içi örneğin tekrarlayan token maliyetinin tek seferlik bir fine-tuning çalışmasının maliyetini aştığı noktaya ulaştığında, kalıbı model ağırlıklarına işlemek daha ekonomik uzun vadeli seçim haline gelir -bağlam içi öğrenme genellikle doğru başlangıç noktasıdır, fine-tuning ise görev ve ekonomisi kanıtlandıktan sonraki doğru optimizasyondur.