Gömme Önbelleği (Embedding Cache)

Gömme önbelleği, daha önce hesapladığınız vektör gömmelerini saklar; böylece bunları yeniden üretmek için tekrar ödemezsiniz. Metni gömmeye çevirmek bir API çağrısına (para ve gecikme) mal olduğundan ve sonuç belirli bir girdi ile model için deterministik olduğundan, metnin karmasına göre önbelleğe almak kolay ve yüksek getirili bir optimizasyondur. RAG ya da anlamsal arama işleten SaaS geliştiricileri için bu iki yerde önemlidir. Alım tarafında, bir belge kümesini yeniden dizinlemek değişmemiş parçaları yeniden gömmemeli — içerik karmasına göre önbelleğe alın ve değişmeyenleri atlayın. Sorgu tarafında, popüler ya da tekrarlanan aramalar her seferinde modele gitmek yerine önbellekteki bir sorgu gömmesini yeniden kullanabilir. Pratik not: Önbellek anahtarı model adını ve sürümünü içermelidir, çünkü farklı modellerin gömmeleri kıyaslanamaz — modelleri değiştirmek, yalnızca metne göre anahtarlanmış bir önbelleği sessizce zehirler. Sınırsız büyümemesi için makul bir tahliye politikası (LRU ya da TTL) belirleyin ve yeniden parçaladığınızda ya da yeniden gömdüğünüzde geçersiz kılmayı unutmayın. Doğru yapıldığında gömme önbelleği hem model faturanızı hem de p95 gecikmenizi düşürür.