A/B Calculator

Перед тестом Спланировать запуск

Сначала оцениваем деньги и разброс метрики, затем считаем размер и длительность теста на основе этой дисперсии.

После теста Проверить результат

Сравниваем тест с контролем по дням, смотрим p-value, эффект и доверительный интервал.

До запуска теста

План теста по ожидаемому uplift

обычный расчет

Базовый показатель, % Ожидаемый uplift, п.п. Среднее количество событий в день Уровень доверия Мощность Направленность

Учитывать обучение кампании Дней обучения

Этот раздел нужен только для дневных агрегатов. Если у вас есть сырые данные по пользователям, обычно нужен стандартный A/B-анализ. Если есть только строки вида “дата, метрика, количество юнитов”, используйте один из двух сценариев ниже.

До запускаВход: исторические дни одной кампании. Выход: разброс метрики.

После тестаВход: дни теста и контроля. Выход: p-value и размер эффекта.

Сценарий 1: тест еще не запущен

Понять, насколько метрика шумная

дневные агрегаты

Используйте этот блок до запуска. Он не сравнивает тест с контролем, а смотрит на прошлые дни и оценивает обычный разброс метрики.

История до теста: дата, метрика, юниты

Метод Как выбрать спокойный участок Минимум дней alpha

Пользовательский разброс Используйте, если в строках есть реальные юниты. День с 3000 юнитами влияет сильнее, чем день с 10.

Дневной разброс Используйте, если хотите оценить именно скачки между днями. Все дни считаются одинаковыми.

Сценарий 2: тест уже завершен

Понять, есть ли эффект теста

дневные агрегаты

Используйте этот блок после завершения. Здесь уже нужны две группы: тест и контроль за одни и те же дни.

Тест после запуска: дата, метрика, юниты Контроль после запуска: дата, метрика, юниты

Альтернатива alpha

Перед выбором следующего запуска

Очередь гипотез

скоринг

Гипотеза	Метрика	OKR	Value, руб	Вера	Ресурсы

A/B калькулятор