Переобучение (Overfitting)

Переобучение — это когда модель усваивает обучающие данные слишком буквально, запоминая их шум и особенности вместо общей закономерности, и потому хорошо выступает на обучении, но проваливается на новых, невиданных входах. Это фундаментальный сбой машинного обучения и причина, по которой оценивать модель всегда нужно на данных, которых она не видела. Для SaaS-разработчиков переобучение — практический риск всякий раз, когда вы дообучаете или обучаете небольшую собственную модель: скормите ей пару сотен примеров на слишком многих эпохах, и она будет прекрасно повторять их наизусть, но плохо обобщать на реальные пользовательские запросы. Признаки — большой разрыв между качеством на обучении и на валидации и хрупкость модели к небольшим переформулировкам. Средства защиты стандартны: выделите валидационную и тестовую выборки, останавливайте обучение, когда валидация перестаёт улучшаться (ранняя остановка), используйте больше и разнообразнее данных и предпочитайте лёгкую адаптацию (LoRA, промпты, retrieval) тяжёлому дообучению. Та же идея всплывает в оценках: модель или промпт, «переобученные» под ваш бенчмарк, могут блистать на нём и разочаровать в продакшене.