Метрика-ограничитель

Метрика-ограничитель — показатель, за которым следят не ради улучшения, а чтобы он не ухудшился. Любую целевую метрику можно сдвинуть способом, которого никто не имел в виду: регистрации растут, когда страница тарифов прячет цену; активация улучшается, когда пропущен шаг, ранее предотвращавший возвраты; вовлечённость поднимается, когда уведомления становятся навязчивыми. Ограничители — заранее объявленные противовесы, благодаря которым изменение, выигравшее по основной метрике и проигравшее в важном месте, записывается в потери, а не в успехи. Полезные ограничители подбираются под каждый эксперимент из правдоподобных побочных эффектов конкретного изменения, плюс небольшой постоянный набор, за которым смотрит вся команда: доля возвратов и чарджбэков, частота обращений в поддержку, доля отписок, задержка страниц и доля ошибок. Оценивают их обычно иначе, чем основную метрику: вы не доказываете улучшение, а лишь ловите ухудшение достаточного размера, поэтому заранее согласованный порог полезнее теста значимости, который низкочастотный ограничитель редко пройдёт. Честными их держат две привычки. Записывайте их до старта эксперимента — ограничитель, выбранный задним числом, обычно оказывается тем, что удачно выглядит. И заранее определяйте действие: какие сдвиги блокируют раскатку, какие требуют доработки и кто принимает решение. Без этого ограничитель — просто график, скриншот которого делают после уже принятого решения.