Испытательный стенд оценки (Eval Harness)

Eval harness — это автоматический набор тестов для выходов модели, аналог юнит-тестов в машинном обучении. Он соединяет фиксированный набор входных данных с логикой оценивания: проверки на точное совпадение, валидация по regex или схеме, оценка по рубрике или LLM-судья, который выставляет балл каждому ответу. Запуская стенд при каждой правке промпта, обновлении модели или дообучении, вы получаете сопоставимый балл вместо ощущения «на глаз». Для SaaS-команд, выпускающих AI-функции, это разница между уверенной итерацией и молитвой, чтобы ничего не сломалось. Без стенда вы смотрите на пять примеров, релизите и узнаёте о регрессии от разгневанного клиента. Со стендом правка промпта, которая тихо ухудшает 12% случаев, всплывает красным числом в CI. Среди инструментов — promptfoo, OpenAI Evals, LangSmith и Braintrust. Практическая заметка: начните с малого — двадцати-пятидесяти реальных случаев, которые вам действительно важны, смешайте дешёвые детерминированные проверки с несколькими оценками судьи и расширяйте набор всякий раз, когда баг прорывается в продакшен.