mlops
Словарь ↗Расхождение обучения и обслуживания (Training-Serving Skew)
Расхождение обучения и обслуживания — это тонкий баг, при котором данные, поступающие модели в продакшене, отличаются от тех, на которых она обучалась, — и не потому, что изменился мир, а потому, что разошлись конвейеры. Например, при обучении использовался очищенный, посчитанный пакетно признак, а при обслуживании тот же признак вычисляется на лету слегка другим кодом; или значение, свежее при обучении, приходит устаревшим на инференсе. Тогда модель работает в продакшене куда хуже, чем обещали ваши офлайн-метрики. Это одна из классических неполадок MLOps именно потому, что она бесшумна: все тесты проходят, а реальная точность проседает. Обычный виновник — продублированная логика преобразований (одна копия для обучения, другая для обслуживания), которая со временем расходится. Во многом ради этого и существуют feature store: они позволяют обоим путям использовать ровно одно определение. Практическая заметка: логируйте реальные признаки на инференсе и периодически сравнивайте их распределение с обучающим набором; несовпадение — ваш ранний сигнал, что расхождение подкралось.
Похожие термины