Bağlam Penceresi (Context Window)

Bağlam penceresi, bir LLM'in sistem istemi, konuşma geçmişi, geri getirilen dokümanlar ve modelin kendi yanıtı boyunca aynı anda "görüş alanında" tutabildiği token cinsinden ölçülen maksimum metin miktarıdır — tek bir istek için modelin çalışma belleği olarak düşünebilirsiniz. Bir konuşma veya doküman bağlam penceresini aştığında, eski içerik ya düşürülmeli ya da özetlenmelidir, aksi halde istek tamamen başarısız olur. Bağlam pencereleri dramatik şekilde büyüdü: erken GPT-3, 4K token (~3.000 kelime) sunarken, Claude Sonnet 4.5 ve Gemini 2.5 Pro gibi modern uç (frontier) modeller 200K'dan 1M+ token'a kadar pencereler sunar (yüz binlerce kelime — tüm kod tabanları veya kitaplar). Bu, yapay zeka özellikleri tasarlayan SaaS geliştiricileri için doğrudan önemlidir: büyük bir bağlam penceresi, karmaşık parçalama veya özetleme olmadan tek bir prompt'a daha fazla geri getirilen doküman, konuşma geçmişi veya eksiksiz bir kod tabanı sığdırmanıza olanak tanır — ama bu "sınırsız ve bedava" anlamına gelmez. Bağlam penceresindeki her token, her tek çağrıda girdi token'ı olarak faturalandırılır (aynı sistem istemi bir konuşmada 50 kez tekrarlansa bile) ve çok uzun bağlamlar gecikmeyi artırabilir ve bazen ortada gömülü bilgiler üzerindeki doğruluğu düşürebilir ("ortada kaybolma" etkisi; modeller, bağlamın başına ve sonuna yakın içeriğe daha güvenilir şekilde dikkat eder). Somut bir örnek: 200K tokenlık bir bağlam penceresine sahip bir kodlama asistanına tüm orta ölçekli bir kod tabanı (diyelim ki 150K token kaynak dosya) artı "kullanıcı kimlik doğrulama mantığı nerede ve token yenilemeyi ele alıyor mu?" gibi 500 tokenlık bir soru verilebilir — model, kod tabanının tamamını tek geçişte okuyarak doğrudan yanıt verebilir; bu, chunking ve RAG gerektirecek 4K'lık bir pencereyle imkânsız olan bir şeydir. Geliştiriciler, bağlam pencerelerini kayan pencere kırpma (en eski mesajları düşürme), özetleme (eski turları daha kısa bir özete sıkıştırma) ve RAG (her şeyi yüklemek yerine yalnızca ilgili dilimi geri getirme) gibi tekniklerle yönetir — doğru seçim, kullanım durumu için eksiksizliğin mi yoksa maliyet/gecikmenin mi daha önemli olduğuna bağlıdır. Bağlam penceresi boyutu, fiyatlandırma katmanlarıyla da doğrudan etkileşir: birçok sağlayıcı, bir istek belirli bir bağlam uzunluğu eşiğini aştığında token başına daha fazla ücret alır (daha fazla token üzerinde dikkat kurmanın gerçekten daha yüksek hesaplama maliyetini yansıtır); bu yüzden yalnızca bir sayfa alakalıyken 100 sayfalık bir dokümanın tamamını her isteğe saf bir şekilde tıkıştıran bir geliştirici, modelin hiç görmesi gerekmeyen içerik için hem gecikme hem de maliyet cezası öder. Bu, RAG'i "sadece daha büyük bir bağlam penceresi kullan"a tercih etmenin temel argümanıdır: teknik olarak 1M tokenlık bir pencere mevcut olsa bile, belirli bir soru için yalnızca en alakalı 3-5 parçayı geri getirmek, neredeyse her zaman tüm bir derlemi bağlama dökmek ve modelin devasa bir samanlıkta doğru iğneyi bulmasını ummaktan daha hızlı, daha ucuz ve genellikle daha doğrudur.