RAG Parçalama

Parçalama, bir getirme hattında belgelerin gömülüp indekslenmeden önce pasajlara bölündüğü adımdır. Tesisat işi gibi görünür ama çoğu RAG sisteminde getirme kalitesini en çok belirleyen tek etkendir. Ödünleşim iki yönlü çalışır. Küçük parçalar hassas gömülür ve temiz getirilir, ama modele onları anlamlı kılan çevre bağlamından yoksun ulaşır — 'bu, kurumsal planlar için geçerli değildir' diyen bir paragraf, üstündeki paragraf olmadan tehlikelidir. Büyük parçalar bağlamı korur ama gömmeyi seyreltir: on iki konudan söz eden bir sayfa hepsiyle zayıf, hiçbiriyle güçlü eşleşmez. Pratikte işe yarayan, karakter sayısına göre değil yapıya göre bölmektir: başlıklar, liste maddeleri, tablo satırları, fonksiyon tanımları. Bir iki cümlelik örtüşme bağlamı sınırlar arasında taşır; her parçayla birlikte ana belgenin başlığını ve bölüm yolunu saklamak, yanıt anında yeniden genişletmeyi sağlar. Ölçün. Sabit bir soru kümesinde getirme hassasiyetini hesaplamak ucuzdur ve asistanınızın doğruluğu hakkında model değiştirmekten daha çok şey söyler.