Новое оформление повышает долю покупателей
A — текущий вариант. B — новая версия оформления. В сценарии пользователи случайно назначены с вероятностью 1:1 и закреплены за вариантом.
Конверсия
выросла на 11,6%.
Запускаем?
Одна хорошая цифра.
Две причины
не торопиться.
Новая версия оформления заказа приносит больше покупателей в тесте. Но насколько надёжен этот рост — и какой ценой он получен?
Посмотреть решение ↓Проверить другие сценарии ↗01 / ВЕРДИКТ ЗА МИНУТУЭту версию
РЕШЕНИЕ: ДОРАБОТАТЬ
Эту версию
не запускаем.
РЕШЕНИЕ: ДОРАБОТАТЬРост пока не подтверждён
5,01% → 5,59%: это около +0,58 процентного пункта, или +11,6% относительно контроля. При α = 0,05 двусторонний тест не достигает значимости: p ≈ 0,0678.
Порог ошибок оплаты нарушен
Доля пользователей с ошибкой выросла с 1,05% до 1,81%. Рост +0,76 п. п. превышает заранее заданный допустимый рост +0,30 п. п. Даже убедительный рост покупок не отменил бы это ограничение.
02 / УСЛОВИЯ ЭКСПЕРИМЕНТАПравила фиксируем
Правила фиксируем
до просмотра результата.
Пользователи с покупкой / все участники
Один пользователь учитывается один раз. Анализируем всех назначенных участников, а не только тех, кто дошёл до оплаты.
14 полных дней, зрелые данные
Двусторонний тест, α = 0,05. Защитное правило: не запускать, если наблюдаемая доля пользователей с ошибкой оплаты выросла более чем на 0,30 п. п.
| Показатель | A · контроль | B · новая версия |
|---|---|---|
| Участники | 9 847 | 9 913 |
| Покупатели | 493 | 554 |
| С ошибкой оплаты | 103 | 179 |
Покупатель мог столкнуться с ошибкой и затем завершить оплату. Эти группы не взаимоисключающие; их нельзя складывать. Случайность назначения и полнота данных заданы условием — агрегированная таблица их не доказывает.
03 / ИНТЕРАКТИВНАЯ ЛАБОРАТОРИЯЧто должно измениться,
Что должно измениться,
чтобы изменилось решение?
Меняйте результаты группы B. Группа A, размеры групп и правила остаются прежними. Это альтернативные учебные сценарии, а не продолжение исходного теста.
450 / 9 913700 / 9 913
80 / 9 913220 / 9 913
Контроль A: 493 покупателя и 103 пользователя с ошибкой на 9 847 участников.
РЕШЕНИЕ ПО ПРАВИЛАМ КЕЙСА
Загрузка расчёта…
Насколько точна оценка роста?
95% интервал · разница B − AПриближённый интервал Вальда для разности долей. Шкала фиксирована для всех сценариев. Это диапазон статистической неопределённости оценки, а не вероятность успеха запуска.
«Не доказали рост»
не значит «роста нет».
+11,6% — относительный рост
Конверсии 554 / 9 913 и 493 / 9 847 отличаются примерно на 0,58 п. п. Делим точную разницу на конверсию контроля и получаем около 11,6%. Все вычисления используют неокруглённые доли.
p ≈ 0,0678 — не вероятность ошибки решения
Это вероятность получить столь же или более экстремальную статистику при нулевой гипотезе и выполнении предпосылок теста.
Значимость — не разрешение на запуск
Нужно учитывать защитные метрики, качество измерения и экономику. Переключите «Рост убедительнее»: рост покупок станет значимым, но порог ошибок всё ещё нарушен.
05 / СЛЕДУЮЩЕЕ ДЕЙСТВИЕИсправить причину.
Исправить причину.
Проверить новую версию.
06 / МЕТОД И ВОСПРОИЗВОДИМОСТЬРешение можно
Решение можно
пересчитать.
Формулы и статистические предпосылки
pA = xA / nA; pB = xB / nB; Δ = pB − pA.
Объединённая доля p = (xA + xB) / (nA + nB).
z = Δ / √[p(1 − p)(1/nA + 1/nB)].
Двустороннее p-value = 2 × (1 − Φ(|z|)).
95% интервал: Δ ± 1,96 × √[pA(1 − pA)/nA + pB(1 − pB)/nB]. Тест использует объединённую оценку, интервал — необъединённую; это разные нормальные приближения, которые могут не совпадать на границе решения.
Предпосылки: независимые пользователи и группы, бинарный исход, заранее фиксированный горизонт, достаточно большие числа успехов и неуспехов. В заданном диапазоне калькулятора эти числа велики. Для редких событий этот метод может не подходить.
Защитное правило и границы вывода
Операционное правило использует наблюдаемую разницу долей ошибок: B − A > 0,003 блокирует запуск. Ровно +0,30 п. п. порог не нарушает. Это упрощённое заранее заданное правило, не статистическое доказательство отсутствия вреда и не тест неухудшения.
Единственная подтверждающая гипотеза — основная метрика. По защитной метрике здесь не объявляется дополнительная статистическая победа. Анализ сегментов служит диагностике; новые подтверждающие выводы требуют учёта множественных проверок.
Нет данных о марже, затратах, возвратах и долгосрочном эффекте. Даже сценарий с выполненными условиями означает только кандидата на контролируемый запуск. Реальные логи, баланс групп, SRM и качество рандомизации здесь не проверялись. Небольшое различие размеров групп возможно при случайном назначении 1:1 и само по себе не доказывает проблему. Полноценная проверка эксперимента требует логов назначения и измерения.
Почему размер выборки нужно планировать заранее
Размеры групп даны в учебном условии. Для реального теста их рассчитывают до запуска из базовой конверсии, минимального эффекта, α и мощности, с учётом трафика и дизайна. Здесь не заявляется, что 14 дней и около 10 000 человек в группе достаточно для любой задачи.
Сохраните четыре файла вместе и выполните node verify.mjs (Node.js 18+). Страница использует тот же расчётный модуль.
Основа метода: NIST: сравнение двух долей · Microsoft Research: качество данных и защитные метрики.