Прекращение поддержки модели (model deprecation)

Прекращение поддержки модели — это вывод поставщиком конкретной версии модели из эксплуатации, после которого запросы с её именем либо завершаются ошибкой, либо молча обслуживаются преемником. Это самый недооценённый операционный риск при разработке поверх размещённой модели, потому что это единственная зависимость в вашем стеке, способная измениться под вами без единого деплоя с вашей стороны. Передовые поставщики выпускают новые версии с периодичностью в месяцы и выводят старые по графику, измеряемому кварталами, так что у любой функции, выпущенной под именованный снимок модели, есть срок годности — записал его кто-нибудь или нет. Важны два сценария отказа. Громкий: наступает дата отключения, и эндпоинт возвращает ошибку — это неприятно, но очевидно и легко ловится на стенде. Тихий хуже: поставщик привязывает общее имя модели к более новому снимку, и тот же самый запрос попадает в другую модель с другим поведением. Промпты по-прежнему работают, агрегированные метрики оценки по-прежнему в норме, а конкретное форматирование или обработка краевых случаев, под которые вы подстраивались, уплывают, и при этом ничего не падает. Именно поэтому в проде фиксируют датированные идентификаторы моделей, а не плавающий алиас, и поэтому набор оценок, который можно перезапустить по требованию, ценнее разового ревью качества. О чём спросить поставщика, прежде чем на него завязываться: какой срок предупреждения о выводе версии зафиксирован; закреплено ли обязательство в договоре или только в блоге; как долго датированные снимки остаются доступны после выхода преемника; и что происходит с дообученной моделью, когда её базовая модель уходит — обычный ответ в том, что дообучение уходит вместе с ней и его нужно повторять, а значит календарь поставщика превращается в ваш инженерный бэклог.

Похожие термины

Ещё термины: MLOps-процессы