Калькулятор A/B теста
Основы A/B тестирования
Три ключевых концепции, которые необходимо понимать перед запуском любого эксперимента.
Что такое A/B тест?
A/B тестирование (сплит-тест) -- это контролируемый эксперимент, в котором трафик случайным образом делится между двумя вариантами: контрольным (A) и тестовым (B). Цель -- определить, какой вариант показывает лучшие результаты по целевой метрике.
Ключевой принцип: рандомизация и изоляция одной переменной для корректных выводов.
Статистическая значимость
Статистическая значимость показывает, насколько вероятно, что наблюдаемая разница между вариантами -- не случайность. При p-value < 0.05 мы говорим, что результат значим на уровне 95%: вероятность случайного результата менее 5%.
Стандарт: p < 0.05 (95% уверенности). Для критичных решений используют p < 0.01.
Ошибки I и II рода
Ошибка I рода (alpha): ложноположительный результат -- вы решили, что B лучше, но на самом деле разницы нет. Ошибка II рода (beta): ложноотрицательный -- вы не обнаружили реальное улучшение. Мощность теста (1-beta) показывает способность обнаружить реальный эффект.
Баланс: alpha=5% защищает от ложных открытий, мощность 80%+ -- от пропуска реальных.
Что тестировать?
Шесть самых популярных сценариев A/B тестирования в маркетинге и продукте.
Конверсия сайта
Тестируйте изменения дизайна, формы заказа и элементов страницы для увеличения конверсии посетителей в клиентов.
Email-рассылки
Сравнивайте темы писем, время отправки, CTR кнопок и компоновку контента для повышения Open Rate и Click Rate.
CTA кнопки
Цвет, текст, размер, расположение кнопки -- каждый параметр влияет на кликабельность. Проверяйте гипотезы данными.
Ценообразование
Тестируйте структуру цен, оформление тарифов, якорные цены и скидки для максимизации среднего чека и конверсии.
UX и навигация
Оптимизируйте пользовательские сценарии: структуру меню, порядок шагов, расположение элементов и логику взаимодействия.
Лендинги
Сравнивайте заголовки, визуалы, социальные доказательства и структуру лендинга для увеличения лидогенерации.
Математика A/B теста
Формулы и статистические методы, которые стоят за калькулятором.
Z-статистика для двух пропорций
Z = (p̂1 - p̂2) / SE
SE = sqrt( p̂ * (1 - p̂) * (1/n1 + 1/n2) )
p̂ = (x1 + x2) / (n1 + n2) -- объединённая пропорция
Z-статистика измеряет расстояние между наблюдаемыми пропорциями в единицах стандартной ошибки. При больших выборках распределение Z аппроксимируется нормальным.
P-value (двусторонний тест)
p-value = 2 * (1 - Φ(|Z|))
Φ(x) -- функция стандартного нормального распределения (CDF)
P-value -- это вероятность получить такие же или более экстремальные результаты, если на самом деле разницы между вариантами нет (нулевая гипотеза верна).
95% доверительный интервал
CI = (p̂2 - p̂1) ± 1.96 * SEdiff
SEdiff = sqrt( p̂1(1-p̂1)/n1 + p̂2(1-p̂2)/n2 )
Доверительный интервал показывает диапазон, в котором с 95% вероятностью находится истинная разница между конверсиями вариантов A и B.
Размер выборки (Power Analysis)
n = (Zα/2 * sqrt(2p̅(1-p̅)) + Zβ * sqrt(p1(1-p1) + p2(1-p2)))2 / (p2 - p1)2
Формула определяет минимальное количество наблюдений на вариант, необходимое для обнаружения заданного эффекта (MDE) с указанной мощностью и уровнем значимости.
Продвинутые методы
Когда классического A/B теста недостаточно -- альтернативные подходы к экспериментированию.
Bayesian A/B тестирование
Байесовский подход
Вместо p-value байесовский метод вычисляет вероятность того, что B лучше A. Результат интуитивно понятен: «93% вероятность, что вариант B лучше». Использует бета-распределение и не требует фиксированного размера выборки.
Multi-Armed Bandit
Адаптивное распределение трафика
В отличие от A/B теста с фиксированным 50/50 сплитом, бандит динамически перенаправляет больше трафика на побеждающий вариант. Минимизирует потери от показа худшего варианта, но сложнее в интерпретации и может давать смещённые оценки.
Sequential Testing
Последовательное тестирование
Позволяет проверять результаты по мере накопления данных, не дожидаясь фиксированного размера выборки. Используются скорректированные пороги значимости (метод О'Брайена-Флеминга или spending-функции) для контроля ложноположительных результатов при множественных проверках.
MDE (Minimum Detectable Effect)
Минимальный обнаружимый эффект
MDE -- наименьшее изменение конверсии, которое тест способен обнаружить с заданной мощностью. Чем меньше MDE, тем больше выборка. Определяйте MDE из бизнес-логики: какое минимальное улучшение оправдывает затраты на внедрение изменения?
6 советов для корректных тестов
Типичные ошибки, которые приводят к неверным выводам, и как их избежать.
Не останавливайте тест рано
Дождитесь набора запланированного размера выборки. Ранняя остановка при "хороших" промежуточных результатах радикально увеличивает вероятность ложноположительного вывода.
Определите метрику заранее
Зафиксируйте первичную метрику ДО запуска теста. Выбор метрики после просмотра данных (p-hacking) -- одна из главных причин невоспроизводимых результатов.
Запускайте на полные недели
Поведение пользователей различается в будни и выходные. Длительность теста должна быть кратна 7 дням для учёта недельной сезонности.
Тестируйте одно изменение
При одновременном изменении нескольких элементов невозможно понять, что именно повлияло на результат. Изолируйте переменные или используйте многофакторный тест.
Проверяйте AA-тест
Перед запуском сплит-теста проведите AA-тест (оба варианта одинаковы). Если результат "значимый" -- у вас проблема с рандомизацией или инструментацией.
Учитывайте мощность
Мощность 80% означает, что у вас 20% шанс пропустить реальное улучшение. Для маленьких эффектов нужна большая выборка -- рассчитайте её заранее.
Как пользоваться калькулятором
Четыре шага к достоверным результатам вашего A/B теста.
Определите MDE и рассчитайте выборку
На вкладке "Размер выборки" введите текущую конверсию и минимальный эффект, который вас интересует. Калькулятор покажет, сколько посетителей нужно на каждый вариант.
Оцените длительность
Перейдите на вкладку "Длительность", введите дневной трафик. Калькулятор автоматически подставит размер выборки из предыдущего шага и покажет, сколько дней нужно на тест.
Запустите тест и соберите данные
Настройте эксперимент в вашем инструменте (Google Optimize, VWO, Optimizely или собственная система). Дождитесь набора запланированного количества посетителей.
Проверьте значимость
На вкладке "Тест значимости" введите данные обоих вариантов: количество посетителей и конверсий. Калькулятор мгновенно покажет, значим ли результат, p-value, Z-score и доверительный интервал.
Часто задаваемые вопросы
Похожие калькуляторы
Проверка контрастности WCAG
Контрастность цветов по WCAG 2.1 (AA и AAA). Доступность сайта для людей с нарушениями зрения.
/wcag-contrast-checkerКалькулятор конвертации форматов файлов
Изменение размера при конвертации: BMP vs JPG, WAV vs MP3, RAW vs MP4. Lossless и Lossy сжатие.
/file-conversion-calculatorКонвертер систем счисления (Bin/Oct/Dec/Hex)
Перевод чисел между двоичной, восьмеричной, десятичной и шестнадцатеричной системами. Для программистов.
/number-system-converterГенератор UUID v4 онлайн
Генерация UUID v4. Один или сотни уникальных идентификаторов за секунду. Разные форматы.
/uuid-generatorСчётчик символов и слов онлайн
Символы с пробелами и без, слова, предложения, время чтения. Для SEO, соцсетей и копирайтинга.
/character-counterГенератор CSS box-shadow
Визуальный редактор теней CSS. Offset, blur, spread, цвет. Множественные тени, inset. Копирование кода.
/box-shadow-generatorКалькулятор A/B-теста (размер выборки)
Расчёт необходимого размера выборки для A/B-теста и анализ результатов. Статистическая значимость, p-value, доверительные интервалы.
/kalkulyator-ab-testa-vyborkaКалькулятор выборки и репрезентативности
Расчёт размера выборки по формуле Кокрана, погрешность выборки, генератор случайных чисел и сравнение методов выборки (случайная, стратифицированная).
/sampling-calculatorКалькулятор email-рассылки
Прогноз Open Rate, Click Rate, конверсии и выручки email-кампании. Сравнение кампаний, ROI и прогноз на 12 месяцев.
/kalkulyator-email-rassylkiКалькулятор конверсии воронки продаж
Расчёт конверсии на каждом этапе воронки продаж. Визуализация, анализ потерь, обратный расчёт и прогноз выручки.
/konversiya-voronki-prodazhКалькулятор опросов и NPS
Анализ шкалы Ликерта, расчёт NPS, параметры социологического опроса и стоимость полевого исследования. CATI/CAWI/CAPI методология.
/survey-calculatorКалькулятор проверки гипотез (Z-test, t-test, χ², ANOVA)
Статистическая проверка гипотез онлайн. Z-тест, t-критерий Стьюдента, Хи-квадрат и дисперсионный анализ (ANOVA) с расчетом P-value.
/hypothesis-testing-calculatorКалькулятор P-Value и мощности выборки
Расчет P-value, доверительных интервалов и анализ мощности выборки (Power Analysis). Для исследований.
/p-value-calculatorКалькулятор ROI маркетинговой кампании
Расчёт ROI и ROAS маркетинговой кампании. Сравнение каналов, точка безубыточности, чистая прибыль от рекламы.
/roi-marketingovoj-kampaniiГенератор UTM-меток
Создание UTM-параметров для ссылок. Пресеты для Яндекс Директ, VK, Telegram. Динамические параметры, QR-код, массовая генерация.
/generator-utm-metok
Был ли этот калькулятор полезен?
Инструмент справочный — не заменяет эксперта
Только для информационных целей. Все расчёты, результаты и данные, предоставляемые инструментом, носят исключительно ознакомительный и справочный характер. Они не являются профессиональной консультацией — медицинской, юридической, финансовой, инженерной или иной.
Точность результатов. Калькулятор основан на общепринятых формулах и методиках, однако фактические результаты могут отличаться в зависимости от индивидуальных условий, исходных данных и применяемых стандартов. Мы не гарантируем полноту, точность или актуальность приведённых расчётов.
Профессиональные решения — медицинские, финансовые, инженерные — должны приниматься только после консультации с квалифицированным специалистом. Не используйте автоматический расчёт как единственное основание для важных решений.
Ограничение ответственности. Авторы и разработчики сервиса не несут ответственности за прямой или косвенный ущерб, возникший из-за использования данных расчётов. Пользователь принимает на себя всю ответственность за интерпретацию результатов.