Базовая модель (baseline)

Базовая модель — это простейшее, что могло бы работать: её строят первой и держат как точку отсчёта, которую обязана превзойти любая последующая модель. Обычно это вообще не модель в интересном смысле слова: всегда предсказывать самый частый класс, всегда предсказывать предыдущее значение, десяток правил по ключевым словам или обычный поиск по тем же данным. Смысл её постройки в том, что оценка сама по себе ничего не значит. Девяносто четыре процента точности звучат как результат ровно до тех пор, пока базовая модель, всегда отвечающая нет, не наберёт девяносто три: в этот момент реальный вклад модели равен одному пункту, и интересным становится вопрос, стоит ли этот пункт стоимости эксплуатации, мониторинга и объяснения. Базовая модель делает видимым и более дешёвое решение. В удивительно большом числе задач правило добирает почти всё достижимое качество, а оставшийся зазор закрывается тем, что маленькая команда не сможет поддерживать. Знать это в начале — значит строить другое; узнать это через месяцы, вложенные в систему, от которой уже никто не хочет отказываться, гораздо тяжелее. Базовая модель полезна и как измерительный прибор. Модель, не сумевшая её обойти, обычно указывает на проблему в данных или в постановке задачи, а не на слабый алгоритм, и такой провал — более быстрый диагноз, чем подбор гиперпараметров. Оставленная в оценочном стенде и считаемая на каждом прогоне, базовая модель ловит и тихие поломки: если падают обе, сдвинулся конвейер данных, а если падает только базовая, изменился оценочный набор. Записывайте её результат рядом с каждым отчётным числом: число без точки отсчёта не сможет оценить никто, кто прочтёт его позже.