A/B-тест без рутины: автоматический отчёт с p-value за 2 минуты
Как за 2 минуты получить отчёт A/B-теста с p-value и выводом, без Excel
Как превратить A/B-тест в автоматический отчёт за две минуты — пошаговая инструкция на базе soffi.io
Ситуация
Аналитик из-за каждого эксперимента снова и снова открывает Excel, считает p-value, рисует слайды, а потом спешит отправить презентацию руководству. Два часа рутинных кликов вместо анализа идей для следующего спринта.
soffi.io снимает эту боль: сервис сам тянет результаты из Google Sheets или Optimizely-CSV, считает статистику, оформляет краткое summary и кладёт готовую таблицу в почту босса. Ниже — рецепт, как настроить процесс один раз и забыть о скучных расчётах.
1. Подготовьте данные
| Что нужно | Где лежит | Как назвать столбцы |
|---|---|---|
| Итоги эксперимента | Google Sheets ab_test_results или CSV-ссылка из Optimizely | variant, sessions, conversions |
Совет: если выгружаете CSV, положите ссылку на файл в отдельный столбец на листе «Sources» — так будет проще обновлять.
2. Создайте задачу в soffi.io
- 1.
Откройте Soffi и нажмите «Новая задача» → «Google Sheets / CSV».
- 2.
Укажите путь к таблице или вставьте URL CSV.
- 3.
Добавьте описание запроса (естественный язык поддерживается, но будьте точны):
Сравни варианты A и B:
— для каждого посчитай конверсию = conversions / sessions;
— вычисли относительный lift (B vs A),
— проведи z-тест при α = 0.05,
— выведи p-value, 95 % CI и вердикт Accept / Reject H₀.
Если значимо — предложи next-steps; иначе — Need more data.
Сформируй краткое summary + таблицу для слайда.
- 1.
Сохраните задачу, укажите расписание «При появлении новых строк» или «В момент завершения эксперимента» (если Optimizely шлёт вебхук).
3. Как Soffi считает статистику (чтобы вы понимали, что внутри)
- 1.
Конверсия
$\hat{p} = \dfrac{\text{conversions}}{\text{sessions}}$ - 2.
Разница и lift
$\Delta = \hat{p}_B - \hat{p}_A,\qquad \text{lift} = \frac{\Delta}{\hat{p}_A}$ - 3.
z-тест (двусторонний)
$z = \dfrac{\hat{p}_B - \hat{p}_A}{\sqrt{ \hat{p}(1-\hat{p})(\frac{1}{n_A}+\frac{1}{n_B}) }}$,
где $\hat{p}$ — комбинированная конверсия. - 4.
p-value — площадь хвостов стандартного нормального распределения.
- 5.
Доверительный интервал — метод Уилсона (более точен на малых выборках).
Эти формулы встроены в движок; прописывать их в задаче не нужно.
4. Настройте выходной формат
Soffi сам предложит Markdown-таблицу, но можно выбрать Google Slides или PDF:
output:
type: slides
theme: clean
sections:
- title: "A/B-тест: итог"
bullets:
- "{{summary}}"
- table: "{{result_table}}"
Нужен просто текст? Выберите Plain → вставьте в Confluence или Notion.
5. Автоматические рекомендации
В шаблоне выше слово {{summary}} подставляется так:
- •
Accept H₀ → «Различий не выявлено, продолжайте сбор данных ещё N сеансов».
- •
Reject H₀ → «Вариант B ↑ +7 % конверсии, z = 2.32, p = 0.02. Рекомендуем:
- 1.
выкатывать на 100 % трафика; 2) зафиксировать изменение; 3) запланировать тест с новой гипотезой».
- 1.
6. Отправка руководству
- 1.
В блоке «Delivery» выберите адресатов: СЕО, продакт, команда маркетинга.
- 2.
Поставьте флаг «Копию себе в Slack» — удобно иметь быстрый доступ к цифрам на летучке.
- 3.
При желании добавьте условие: «если p-value < 0.05 — отправить немедленно, иначе — в конце дня».
7. Проверка: запуск тестового прогона
- •
Нажмите Run now.
- •
Через 5–10 секунд получите письмо с отчётом.
- •
Сравните цифры с тем, что у вас в Excel — должны сходиться до четвертого знака.
8. Что делать дальше
| Сценарий | Действие |
|---|---|
| p < 0.05, lift положительный | Катим победителя на 100 %, ставим в бэклог гипотезу про следующий шаг. |
| p < 0.05, lift отрицательный | Откатываем, фиксируем уроки, собираем идеи для нового варианта. |
| p ≥ 0.05 | Увеличиваем выборку, уточняем сегменты, пересматриваем размер эффекта. |
9. Экономия времени и нервов
- •
1–2 часа освобождаются у аналитика на каждый эксперимент.
- •
Руководство получает понятный вывод сразу после «Stop Experiment».
- •
Итерации продукта и маркетинга идут быстрее — идеи проверяются почти в реальном времени.
Заключение
Однажды настроив задачу в soffi.io, вы больше не открываете калькулятор и не рисуете скучные слайды. Сервис сам подставит числа, проверит статистическую значимость и подскажет, что делать дальше. А вы тем временем успеете придумать следующую гипотезу, заказать кофе и убедить команду в новой идее, пока конкуренты ещё строят сводные таблицы.