Калькулятор A/B теста
Основы A/B тестирования
Три ключевых концепции, которые необходимо понимать перед запуском любого эксперимента.
Что такое A/B тест?
A/B тестирование (сплит-тест) -- это контролируемый эксперимент, в котором трафик случайным образом делится между двумя вариантами: контрольным (A) и тестовым (B). Цель -- определить, какой вариант показывает лучшие результаты по целевой метрике.
Ключевой принцип: рандомизация и изоляция одной переменной для корректных выводов.
Статистическая значимость
Статистическая значимость показывает, насколько вероятно, что наблюдаемая разница между вариантами -- не случайность. При p-value < 0.05 мы говорим, что результат значим на уровне 95%: вероятность случайного результата менее 5%.
Стандарт: p < 0.05 (95% уверенности). Для критичных решений используют p < 0.01.
Ошибки I и II рода
Ошибка I рода (alpha): ложноположительный результат -- вы решили, что B лучше, но на самом деле разницы нет. Ошибка II рода (beta): ложноотрицательный -- вы не обнаружили реальное улучшение. Мощность теста (1-beta) показывает способность обнаружить реальный эффект.
Баланс: alpha=5% защищает от ложных открытий, мощность 80%+ -- от пропуска реальных.
Что тестировать?
Шесть самых популярных сценариев A/B тестирования в маркетинге и продукте.
Конверсия сайта
Тестируйте изменения дизайна, формы заказа и элементов страницы для увеличения конверсии посетителей в клиентов.
Email-рассылки
Сравнивайте темы писем, время отправки, CTR кнопок и компоновку контента для повышения Open Rate и Click Rate.
CTA кнопки
Цвет, текст, размер, расположение кнопки -- каждый параметр влияет на кликабельность. Проверяйте гипотезы данными.
Ценообразование
Тестируйте структуру цен, оформление тарифов, якорные цены и скидки для максимизации среднего чека и конверсии.
UX и навигация
Оптимизируйте пользовательские сценарии: структуру меню, порядок шагов, расположение элементов и логику взаимодействия.
Лендинги
Сравнивайте заголовки, визуалы, социальные доказательства и структуру лендинга для увеличения лидогенерации.
Математика A/B теста
Формулы и статистические методы, которые стоят за калькулятором.
Z-статистика для двух пропорций
Z = (p̂1 - p̂2) / SE
SE = sqrt( p̂ * (1 - p̂) * (1/n1 + 1/n2) )
p̂ = (x1 + x2) / (n1 + n2) -- объединённая пропорция
Z-статистика измеряет расстояние между наблюдаемыми пропорциями в единицах стандартной ошибки. При больших выборках распределение Z аппроксимируется нормальным.
P-value (двусторонний тест)
p-value = 2 * (1 - Φ(|Z|))
Φ(x) -- функция стандартного нормального распределения (CDF)
P-value -- это вероятность получить такие же или более экстремальные результаты, если на самом деле разницы между вариантами нет (нулевая гипотеза верна).
95% доверительный интервал
CI = (p̂2 - p̂1) ± 1.96 * SEdiff
SEdiff = sqrt( p̂1(1-p̂1)/n1 + p̂2(1-p̂2)/n2 )
Доверительный интервал показывает диапазон, в котором с 95% вероятностью находится истинная разница между конверсиями вариантов A и B.
Размер выборки (Power Analysis)
n = (Zα/2 * sqrt(2p̅(1-p̅)) + Zβ * sqrt(p1(1-p1) + p2(1-p2)))2 / (p2 - p1)2
Формула определяет минимальное количество наблюдений на вариант, необходимое для обнаружения заданного эффекта (MDE) с указанной мощностью и уровнем значимости.
Продвинутые методы
Когда классического A/B теста недостаточно -- альтернативные подходы к экспериментированию.
Bayesian A/B тестирование
Байесовский подход
Вместо p-value байесовский метод вычисляет вероятность того, что B лучше A. Результат интуитивно понятен: «93% вероятность, что вариант B лучше». Использует бета-распределение и не требует фиксированного размера выборки.
Multi-Armed Bandit
Адаптивное распределение трафика
В отличие от A/B теста с фиксированным 50/50 сплитом, бандит динамически перенаправляет больше трафика на побеждающий вариант. Минимизирует потери от показа худшего варианта, но сложнее в интерпретации и может давать смещённые оценки.
Sequential Testing
Последовательное тестирование
Позволяет проверять результаты по мере накопления данных, не дожидаясь фиксированного размера выборки. Используются скорректированные пороги значимости (метод О'Брайена-Флеминга или spending-функции) для контроля ложноположительных результатов при множественных проверках.
MDE (Minimum Detectable Effect)
Минимальный обнаружимый эффект
MDE -- наименьшее изменение конверсии, которое тест способен обнаружить с заданной мощностью. Чем меньше MDE, тем больше выборка. Определяйте MDE из бизнес-логики: какое минимальное улучшение оправдывает затраты на внедрение изменения?
6 советов для корректных тестов
Типичные ошибки, которые приводят к неверным выводам, и как их избежать.
Не останавливайте тест рано
Дождитесь набора запланированного размера выборки. Ранняя остановка при "хороших" промежуточных результатах радикально увеличивает вероятность ложноположительного вывода.
Определите метрику заранее
Зафиксируйте первичную метрику ДО запуска теста. Выбор метрики после просмотра данных (p-hacking) -- одна из главных причин невоспроизводимых результатов.
Запускайте на полные недели
Поведение пользователей различается в будни и выходные. Длительность теста должна быть кратна 7 дням для учёта недельной сезонности.
Тестируйте одно изменение
При одновременном изменении нескольких элементов невозможно понять, что именно повлияло на результат. Изолируйте переменные или используйте многофакторный тест.
Проверяйте AA-тест
Перед запуском сплит-теста проведите AA-тест (оба варианта одинаковы). Если результат "значимый" -- у вас проблема с рандомизацией или инструментацией.
Учитывайте мощность
Мощность 80% означает, что у вас 20% шанс пропустить реальное улучшение. Для маленьких эффектов нужна большая выборка -- рассчитайте её заранее.
Как пользоваться калькулятором
Четыре шага к достоверным результатам вашего A/B теста.
Определите MDE и рассчитайте выборку
На вкладке "Размер выборки" введите текущую конверсию и минимальный эффект, который вас интересует. Калькулятор покажет, сколько посетителей нужно на каждый вариант.
Оцените длительность
Перейдите на вкладку "Длительность", введите дневной трафик. Калькулятор автоматически подставит размер выборки из предыдущего шага и покажет, сколько дней нужно на тест.
Запустите тест и соберите данные
Настройте эксперимент в вашем инструменте (Google Optimize, VWO, Optimizely или собственная система). Дождитесь набора запланированного количества посетителей.
Проверьте значимость
На вкладке "Тест значимости" введите данные обоих вариантов: количество посетителей и конверсий. Калькулятор мгновенно покажет, значим ли результат, p-value, Z-score и доверительный интервал.
Часто задаваемые вопросы
Похожие инструменты
Калькулятор академической задолженности
Расчёт сроков пересдачи, допуска к сессии. Порядок ликвидации академической задолженности.
Калькулятор воды (норма воды в день)
Рассчитайте свою суточную норму воды с учетом веса, активности и климата. Удобный дневник водного баланса.
Калькулятор умных сетей (Smart Grid)
Расчёты умных электросетей: нагрузка, счётчики, распределённая генерация, потери, надёжность
Калькулятор зарядки электромобиля
Расчёт времени и стоимости зарядки электромобиля дома. Мощность розетки, тариф.
Калькулятор ABSI (индекс формы тела)
Новый индекс формы тела (A Body Shape Index). Оцените риск для здоровья точнее, чем просто по ИМТ.
Калькулятор сборов в поездку: чек-лист, вес, чемодан
Калькулятор сборов. Чек-лист вещей по типу поездки, расчёт веса багажа, выбор чемодана, нормы авиакомпаний.
Калькулятор прогиба балки
Расчёт прогиба балки по длине, нагрузке, сечению и материалу. Однопролётная, консольная, защемлённая.
Калькулятор антисептика для дерева
Расчёт расхода антисептика, пропитки, масла и воска для дерева по площади. Сенеж, Неомид, Pinotex, Tikkurila. Стоимость в рублях.
Калькулятор битрейта видео
Расчёт размера видеофайла по разрешению, FPS, кодеку и длительности. Рекомендации YouTube, Telegram, VK.
Калькулятор БЖУ (КБЖУ)
Расчет белков, жиров и углеводов (макронутриентов) для различных диет: кето, палео, зональная и другие.
Калькулятор пружины (закон Гука)
Сила пружины, потенциальная энергия, период колебаний. Последовательное и параллельное соединение пружин.
Калькулятор детских пособий
Расчёт единого пособия (50/75/100% ПМ), материнского капитала, пособия по уходу до 1.5 лет. Региональные выплаты, правило нулевого дохода.
Калькулятор баллов ЕГЭ: перевод первичных в тестовые
Перевод первичных баллов ЕГЭ в тестовые по всем предметам. Шкала 2024/2025, проходные баллы, уровни результата. Русский, математика, обществознание, физика, химия.
Калькулятор литейного производства
Расчёты литья: шихта, литниковая система, усадка, охлаждение, дефекты, стоимость
Калькулятор нейронауки
Уравнения Нернста и Голдмана, потенциал действия, синаптическая передача, ритмы ЭЭГ, нейромедиаторы и рецепторы.
Лиана Арифметова
Миссия: Демократизировать сложные расчеты. Превратить страх перед числами в ясность и контроль. Девиз: «Любая повторяющаяся задача заслуживает своего калькулятора».
Отказ от ответственности
Только для информационных целей. Все расчёты, результаты и данные, предоставляемые данным инструментом, носят исключительно ознакомительный и справочный характер. Они не являются профессиональной консультацией — медицинской, юридической, финансовой, инженерной или иной.
Точность результатов. Калькулятор основан на общепринятых формулах и методиках, однако фактические результаты могут отличаться в зависимости от индивидуальных условий, исходных данных и применяемых стандартов. Мы не гарантируем полноту, точность или актуальность приведённых расчётов.
Медицинские, финансовые и профессиональные решения должны приниматься исключительно на основании консультации с квалифицированными специалистами — врачом, финансовым советником, инженером или другим профессионалом в соответствующей области. Не используйте результаты данного инструмента как единственное основание для принятия важных решений.
Ограничение ответственности. Авторы и разработчики сервиса не несут никакой ответственности за прямой или косвенный ущерб, возникший в результате использования данных расчётов. Пользователь принимает на себя всю ответственность за интерпретацию и применение полученных результатов.