security
Словарь ↗Экстракция модели (Model Exfiltration)
Экстракция модели — также известная как model extraction или кража модели — это атака, при которой злоумышленник восстанавливает проприетарную модель или её достаточно близкую копию, систематически опрашивая её и обучаясь на ответах. Имея доступ к API, атакующий отправляет большие объёмы тщательно подобранных запросов, записывает ответы (и любые оценки уверенности или логиты, которые вы отдаёте) и обучает более дешёвую модель-заместитель, копирующую ваше поведение. Смежные атаки пытаются восстановить обучающие данные или сам системный промпт. Для SaaS-разработчиков ценный актив — часто не базовая LLM, которую вы арендуете, а дообучение, промпт-инжиниринг и проприетарные данные, делающие вашу фичу ценной. Практический совет: ограничивайте частоту и отслеживайте паттерны запросов по каждому ключу, не возвращайте сырые логиты и лишние данные об уверенности, по возможности наносите водяные знаки на вывод и держите действительно чувствительную логику на сервере за бизнес-правилами, а не целиком в промпте.
Похожие термины