Sorgu Genişletme

Sorgu genişletme, kullanıcının ham sorgusunu arama yapılmadan önce bir ya da daha fazla zenginleştirilmiş sorguya dönüştüren getirme tekniğidir; amaç, aynı fikri başka sözcüklerle ifade eden belgelerin yine de bulunmasıdır. Var olma nedeni şudur: bir insanın yazdığı sorgu ile ona yanıt veren pasaj nadiren aynı kelime dağarcığıyla yazılır. Kullanıcı "faturam neden yanlış" diye sorar, dokümantasyon "dönem ortası plan değişikliklerinde orantılama" der ve ister sözcüksel ister vektör indeksi üzerinde tek atışlık bir arama, eşleşmeyi bütünüyle kaçırabilir. Genişletme bu açığı korpus tarafında değil, sorgu tarafında daraltır. Birkaç biçimi vardır ve bunlar birleştirilebilir. Eş anlamlı ve terim genişletmesi sözcüksel varyantlar ile alan sözlüğünü ekler; başlıca faydası anahtar kelime getirmesinedir. Çoklu sorgu genişletmesi, bir dil modelinden sorunun birkaç yeniden ifadesini üretmesini ister, her biri için getirme yapar ve sonuç kümelerini birleştirir — genellikle reciprocal rank fusion ile, ki böylece birçok varyant tarafından orta düzeyde iyi sıralanan bir belge, tek bir aykırı varyant tarafından tepeye konan belgeyi geçer. Ayrıştırma, bileşik bir soruyu parçalarına böler ve her biri için ayrı getirme yapar; çok adımlı soruları hiç olmazsa yanıtlanabilir kılan da budur. Geri adım genişletmesi, sorunun daha genel bir sürümünü üreterek belirli ifadenin asla yüzeye çıkaramayacağı arka plan bağlamını çeker. Varsayımsal belge genişletmesi ise ters yönde çalışır: makul bir yanıt üretir ve sorunun değil o yanıtın gömmesini alır; dayanağı, yanıtların yanıtlara sorulardan daha yakın durmasıdır. Maliyetler gerçektir ve açıkça söylenmeye değer. Her ek sorgu bir getirme gidiş-dönüşü daha demektir; yeniden yazmayı bir model yapıyorsa, kullanıcı herhangi bir şey görmeden önce bir çıkarım çağrısı daha demektir — yani genişletme, anma oranını gecikme ve harcama karşılığında satın alır. Kesinliğe de zarar verebilir: belirsiz bir sorguyu yanlış okuyan bir yeniden yazma modeli, kendinden emin biçimde alakasız malzeme çeker ve düz bir ıskanın aksine bu malzeme üretim adımına ulaşır ve kullanılır. Bu yüzden genişletme genellikle, büyüyen ve gürültülenen aday kümesi üzerinde kesinliği geri kazandıran bir yeniden sıralayıcıyla birlikte kullanılır. Pratik not: anma oranını hisle değil, sabit bir değerlendirme kümesi üzerinde öncesi ve sonrasıyla ölçün ve genişletmelerin kendisini önbelleğe alın — kullanıcı sorguları tekrarlanır ve aynı soruyu her istekte modelle yeniden yazmak, bir getirme hattındaki en kolay önlenebilir maliyettir.