Атака вывода членства (Membership Inference)

Атака вывода членства задаёт модели вопрос, на который та не должна была отвечать: была ли эта конкретная запись в твоих обучающих данных? Атакующий зондирует модель — часто лишь через оценки уверенности или значение потерь на кандидатном примере — и эксплуатирует то, что на запомненных данных модели ведут себя измеримо иначе, чем на никогда не виденных. Переобученные модели уязвимее всего, поэтому атаку используют и как практический аудит приватности. Ставки конкретны: подтверждение, что запись человека была в обучающем наборе больницы, раскрывает сам факт, что он был пациентом, а регуляторы всё чаще считают такую утечку нарушением защиты персональных данных по правилам в духе GDPR. Защита: дифференциальная приватность при обучении (принципиальное решение), регуляризация и дедупликация для обуздания запоминания, ограничение точности оценок уверенности, отдаваемых через API. Любому SaaS-продукту, дообучающемуся на данных клиентов, стоит проверить это до релиза.