Veri Zehirleme (Data Poisoning)

Veri zehirleme, bir modeli öğrendiği kaynağı bozarak bozan bir saldırıdır. Saldırgan, eğitim verisine kötü amaçlı örnekler yerleştirir — kazınan web sayfaları, açık bir veri kümesi, kullanıcı geri bildirimleri ya da bir RAG sisteminin içine aldığı belgeler — böylece bitmiş model saldırganın seçtiği biçimlerde hatalı davranır. Çeşitleri: erişilebilirlik saldırıları (doğruluğu genel olarak düşürmek), hedefli saldırılar (belirli girdiler için tahminleri ters çevirmek) ve arka kapılar; gizli bir tetikleyici ifade yerleştirilen davranışı etkinleştirirken model her benchmark'ta normal görünür. Araştırmalar zehirlemenin şaşırtıcı derecede az sayıda belgeyle başarılı olabildiğini gösterdi; kullanıcı verisiyle ince ayar yapmak ya da üçüncü taraf içerik almak SaaS ekipleri için yaygın maruziyet noktalarıdır. Savunmalar mutlak değil katmanlıdır: eğitim kaynakları için köken (provenance) takibi, eğitim öncesi anomali filtreleme, temiz değerlendirme kümeleri ayırmak ve kullanıcı etkisindeki her derlemi — RAG dizininiz dahil — güvenilmez girdi saymak.

Sonraki adım

Araç fiyatlarını yan yana görün

Takip ettiğimiz tüm araçlar, kategoriye göre, en düşük liste fiyatıyla ve yıllık faturayı hesaplayabileceğiniz bir sayfayla.

Daha fazla Güvenlik ve Uyumluluk terimi