Статистическая значимость

Статистическая значимость — утверждение о том, насколько легко наблюдаемое различие могло возникнуть случайно, если бы настоящего различия не было вовсе. Обычная процедура считает p-значение — вероятность увидеть результат не менее экстремальный при этом допущении — и называет результат значимым, когда оно оказывается ниже заранее выбранного порога, как правило 0,05. Это защита от того, чтобы обмануться шумом, и её регулярно читают неверно. Стоит назвать три ошибки. P-значение не есть вероятность того, что ваше изменение работает, а значение выше порога не является доказательством, что оно не работает: чаще всего оно означает, что выборка была слишком мала, чтобы различить. Значимость не равна величине: при достаточном трафике различие, слишком малое, чтобы иметь коммерческий смысл, преодолеет любой порог — поэтому оценка эффекта с доверительным интервалом полезнее для решения, чем вердикт «да/нет». И значимость относится к тому тесту, который вы запланировали, а не к тому, который нашли: ежедневные проверки с остановкой на пересечении линии или сравнение двадцати сегментов с публикацией того, что прошёл порог, дают ложные срабатывания намного чаще, чем подразумевает порог. Практическая дисциплина: зафиксировать основную метрику, размер выборки и длительность до старта; сообщать оценённый эффект и интервал вместо голого вердикта; относиться к находкам по сегментам как к гипотезам для будущего теста, а не к результатам. Повторные проверки на одних данных требуют явной поправки, а значимый, но крошечный результат — повод посмотреть на цену его внедрения.