Расхождение долей выборки (SRM)

Расхождение долей выборки — это разница между тем разделением трафика, на которое настроен эксперимент, и тем, которое получилось на самом деле. Тест, заданный как пятьдесят на пятьдесят и завершившийся с 51,4 процента пользователей в одной ветке, выглядит округлением, но им не является: при любом осмысленном объёме выборки такое отклонение случайно почти невозможно, а значит что-то распределяло пользователей неслучайно. Сама проверка — одна строка арифметики против ожидаемых долей, и это самая ценная проверка целостности, которую может выполнять программа экспериментов. Значение её в том, что расхождение — симптом, а не проблема округления, и то, что его вызвало, почти всегда искажает и результат. Редирект, теряющий медленные соединения в одной ветке. Фильтр ботов, иначе относящийся к варианту. Запись назначения после отрисовки страницы, из-за чего с одной стороны пропадают самые быстро ушедшие. Ветка, которая чаще падает и чьи сбойные сессии поэтому вообще не доезжают. Во всех этих случаях потерянные пользователи — не случайная выборка, а именно те, у кого был худший опыт, поэтому уцелевшая ветка выглядит лучше, чем она есть, а эффект измеряется на тихо отобранной популяции. Дисциплина проста: делать проверку до чтения результата и считать её провал дисквалификацией, а не оговоркой. Эксперимент с расхождением нельзя спасти поправкой, потому что механизм перекоса неизвестен и ничто не подскажет, в какую сторону он сдвинул метрику. Правильный ответ — найти причину, исправить и перезапустить. Автоматический запуск проверки на каждом эксперименте, а не только когда результат выглядит странно, и есть то, что удерживает её честной: расхождение на результате, подтверждающем ожидания, никто искать не пойдёт.