Обнаружение дрейфа (Drift Detection)

Обнаружение дрейфа — это практика отслеживания статистических изменений между данными, на которых модель обучалась, и данными, которые она видит в продакшене. Дрейф данных означает, что сдвинулось распределение входов: новые сегменты пользователей, сезонное поведение, изменившееся вышестоящее поле. Дрейф концепции означает, что выученная моделью зависимость больше не работает, и вчерашний правильный ответ сегодня становится ошибкой. В обоих случаях модель тихо деградирует, хотя её код остаётся нетронутым. Поскольку модель заморожена, а мир продолжает меняться, дрейф — главная причина незаметно гниющих предсказаний. Команды фиксируют обучающее распределение как эталон, а затем сравнивают живой трафик с помощью метрик вроде индекса стабильности популяции (PSI) или KL-дивергенции и поднимают тревогу, когда признак пересекает порог. Для LLM- и RAG-продуктов аналог — отслеживание качества ответов, меняющихся пользовательских запросов и дрейфа эмбеддингов со временем. Практическая заметка: свяжите автоматические тревоги о дрейфе с запланированным прогоном оценки, чтобы всплеск запускал реальную проверку качества, а не просто мигал на дашборде.