Подбор гиперпараметров

Гиперпараметры — настройки, которые выбирают до обучения, а не выучивают в его ходе: скорость обучения, размер батча, число эпох, сила регуляризации, ранг LoRA-адаптера. Подбор — это поиск комбинации, дающей лучший результат на валидации. Поиск обычно ведут как с чёрным ящиком: предложить конфигурацию, обучить, оценить на валидационной выборке, повторить. Полный перебор по сетке проходит заранее заданную решётку и тратит большую часть бюджета на измерения, которые ни на что не влияют. Случайный поиск при том же числе прогонов покрывает каждое измерение равномернее и является лучшим выбором по умолчанию. Байесовские и бандитные методы моделируют, какие области выглядят перспективно, и рано обрывают безнадёжные прогоны — это окупается, когда одно обучение дорого. Полезный подбор от льстивого отделяют три привычки. Оценивайте на валидации и не трогайте финальный тест: конфигурация, выбранная многократным обращением к одним и тем же данным, к ним и подогнана. Записывайте каждый прогон — конфигурацию, версию данных, версию кода и результат, — потому что незаписанный поиск нельзя ни воспроизвести, ни продолжить, а подобранное значение действительно только для тех данных, на которых подбиралось. И задавайте бюджет заранее: кривая улучшения быстро выполаживается, и большинство поздних приростов лежит внутри шума, доступного валидационной выборке. Командам, адаптирующим языковые модели, та же дисциплина нужна на меньшем наборе ручек, а самые крупные выигрыши обычно приходят от данных и постановки задачи, а не от поиска.