Отравление данных (Data Poisoning)

Отравление данных — атака, портящая модель через порчу того, на чём она учится. Злоумышленник подбрасывает вредоносные примеры в обучающие данные — собранные веб-страницы, открытый датасет, пользовательскую обратную связь или документы, которые заглатывает RAG-система, — чтобы готовая модель ошибалась выбранным атакующим образом. Варианты: атаки на доступность (общее снижение точности), целевые атаки (переворачивание предсказаний для конкретных входов) и бэкдоры, когда скрытая триггерная фраза активирует заложенное поведение, а на всех бенчмарках модель выглядит нормальной. Исследования показали, что отравление может сработать при удивительно малом абсолютном числе документов; дообучение на данных пользователей и приём стороннего контента — типичные точки экспозиции для SaaS-команд. Защита многослойна, а не абсолютна: отслеживание происхождения обучающих источников, фильтрация аномалий перед обучением, чистые отложенные наборы для оценки и отношение к любому корпусу с влиянием пользователей — включая ваш RAG-индекс — как к недоверенному входу.