Катастрофическое забывание (Catastrophic Forgetting)

Катастрофическое забывание — склонность нейросети терять ранее усвоенные способности, когда её дообучают на новых данных. Дообучите сильную базовую модель узко на своих тикетах поддержки — и она может отлично освоить ваш домен, но при этом незаметно просесть в общем рассуждении, форматировании или в поведении по безопасности, которое было у неё раньше: новые градиенты перезаписывают веса, кодировавшие старые навыки. Для SaaS-разработчиков это скрытый риск дообучения: вы оптимизируете одну метрику и деградируете по другим, которые не измеряли. Среди способов смягчения — подмешивать общие данные обратно в обучающую выборку, использовать лёгкие адаптеры вроде LoRA, оставляющие базовые веса замороженными, держать низкую скорость обучения и — часто самый простой ответ — вообще отказаться от дообучения в пользу retrieval и хороших промптов. Если всё же дообучаете, всегда проверяйте модель на широком отложенном наборе, а не только на целевой задаче, чтобы поймать регрессии раньше пользователей. Модель, которая блестяще знает ваш домен, но разучилась соблюдать инструкции по форматированию, — это чистый проигрыш.