Kayan Pencere Dikkati

Kayan pencere dikkati, her belirtecin tüm dizi yerine yalnızca sabit büyüklükte bir yakın belirteç komşuluğuna bakmasını sağlar. Standart dikkat her belirteci diğer her belirteçle karşılaştırır, bu yüzden maliyet ve bellek dizi uzunluğunun karesiyle büyür — uzun bağlamların sunumunun pahalı olmasının nedeni budur. Diyelim birkaç bin belirteçlik bir pencere bunu doğrusal büyümeye çevirir, çünkü belirteç başına iş artık belgenin ne kadar uzun olduğuna bağlı olmaz. Bilgi yine de tek bir pencereden daha uzağa taşınır: her katman kendi penceresi içinde baktığı için bir belirteç, küçük evrişimlerden oluşan bir yığının geniş bir alıcı alanı kapsamasına benzer biçimde birkaç pencere ötedeki içerikten etkilenebilir. Bu nedenle uzun bağlamlı modellerin çoğu, pencereli katmanların arasına birkaç tam dikkat katmanı serpiştirir; dizinin büyük kısmı ucuza işlenirken bazı katmanlar bütünsel görüşü korur. Üstüne bir şey inşa edenler için ödünleşimi açıkça söylemek gerekir. Pencereleme uzun girdilerin maliyetini düşürür, ama mevcut pencerenin çok dışında duran bir ayrıntının birebir hatırlanmasını zayıflatır — modeli "bu sözleşmedeki tek maddeyi bul" türü işlerde güvenilmez gösteren örüntü tam olarak budur. İş yükünüz büyük bir belgeden nokta atışı bilgi çekmeye dayanıyorsa, ilgili pasajı sorunun yakınına koyan bir erişim adımı, herhangi bir dikkat düzeneğinin girdinin tamamına uzanmasına güvenmekten daha sağlamdır.