data-infra

BM25

BM25 (Best Match 25), çoğu tam metin aramanın arkasındaki klasik sözcüksel sıralama fonksiyonudur: bir belgeyi sorguya karşı, her sorgu teriminin belgede ne sıklıkta geçtiğini (azalan getirilerle — yirmi tekrar yirmi kat puan getirmez), terimin tüm derlemde ne kadar nadir olduğunu ve uzun belgelerin salt hacimle kazanmasını engelleyen bir normalleştirmeyi birleştirerek puanlar. Elasticsearch, OpenSearch ve Lucene'in varsayılanlarını çalıştırır. RAG çağında BM25, embedding'lerin tamamlayıcısı olarak şaşırtıcı derecede iyi yaşlandı: vektör araması başka sözcüklerle ifadeyi ve anlamı yakalar ama kesin tanımlayıcıları bulanıklaştırır; BM25 ise embedding'lerin gürültü saydığı harfi harfine dizgileri — hata kodları, SKU'lar, fonksiyon adları, hukuki atıflar — tam isabetle bulur. Üretim retrieval'ının tipik olarak hibrit olmasının nedeni budur: BM25 ve vektör araması paralel çalışır, sonuçlar yeniden sıralamadan önce (çoğu zaman reciprocal rank fusion ile) birleştirilir. Ucuz, hızlı, yorumlanabilirdir ve eğitim gerektirmez.

İlgili terimler

Daha fazla Veri ve Altyapı terimi