Калькулятор A/B теста
Основы A/B тестирования
Три ключевых концепции, которые необходимо понимать перед запуском любого эксперимента.
Что такое A/B тест?
A/B тестирование (сплит-тест) -- это контролируемый эксперимент, в котором трафик случайным образом делится между двумя вариантами: контрольным (A) и тестовым (B). Цель -- определить, какой вариант показывает лучшие результаты по целевой метрике.
Ключевой принцип: рандомизация и изоляция одной переменной для корректных выводов.
Статистическая значимость
Статистическая значимость показывает, насколько вероятно, что наблюдаемая разница между вариантами -- не случайность. При p-value < 0.05 мы говорим, что результат значим на уровне 95%: вероятность случайного результата менее 5%.
Стандарт: p < 0.05 (95% уверенности). Для критичных решений используют p < 0.01.
Ошибки I и II рода
Ошибка I рода (alpha): ложноположительный результат -- вы решили, что B лучше, но на самом деле разницы нет. Ошибка II рода (beta): ложноотрицательный -- вы не обнаружили реальное улучшение. Мощность теста (1-beta) показывает способность обнаружить реальный эффект.
Баланс: alpha=5% защищает от ложных открытий, мощность 80%+ -- от пропуска реальных.
Что тестировать?
Шесть самых популярных сценариев A/B тестирования в маркетинге и продукте.
Конверсия сайта
Тестируйте изменения дизайна, формы заказа и элементов страницы для увеличения конверсии посетителей в клиентов.
Email-рассылки
Сравнивайте темы писем, время отправки, CTR кнопок и компоновку контента для повышения Open Rate и Click Rate.
CTA кнопки
Цвет, текст, размер, расположение кнопки -- каждый параметр влияет на кликабельность. Проверяйте гипотезы данными.
Ценообразование
Тестируйте структуру цен, оформление тарифов, якорные цены и скидки для максимизации среднего чека и конверсии.
UX и навигация
Оптимизируйте пользовательские сценарии: структуру меню, порядок шагов, расположение элементов и логику взаимодействия.
Лендинги
Сравнивайте заголовки, визуалы, социальные доказательства и структуру лендинга для увеличения лидогенерации.
Математика A/B теста
Формулы и статистические методы, которые стоят за калькулятором.
Z-статистика для двух пропорций
Z = (p̂1 - p̂2) / SE
SE = sqrt( p̂ * (1 - p̂) * (1/n1 + 1/n2) )
p̂ = (x1 + x2) / (n1 + n2) -- объединённая пропорция
Z-статистика измеряет расстояние между наблюдаемыми пропорциями в единицах стандартной ошибки. При больших выборках распределение Z аппроксимируется нормальным.
P-value (двусторонний тест)
p-value = 2 * (1 - Φ(|Z|))
Φ(x) -- функция стандартного нормального распределения (CDF)
P-value -- это вероятность получить такие же или более экстремальные результаты, если на самом деле разницы между вариантами нет (нулевая гипотеза верна).
95% доверительный интервал
CI = (p̂2 - p̂1) ± 1.96 * SEdiff
SEdiff = sqrt( p̂1(1-p̂1)/n1 + p̂2(1-p̂2)/n2 )
Доверительный интервал показывает диапазон, в котором с 95% вероятностью находится истинная разница между конверсиями вариантов A и B.
Размер выборки (Power Analysis)
n = (Zα/2 * sqrt(2p̅(1-p̅)) + Zβ * sqrt(p1(1-p1) + p2(1-p2)))2 / (p2 - p1)2
Формула определяет минимальное количество наблюдений на вариант, необходимое для обнаружения заданного эффекта (MDE) с указанной мощностью и уровнем значимости.
Продвинутые методы
Когда классического A/B теста недостаточно -- альтернативные подходы к экспериментированию.
Bayesian A/B тестирование
Байесовский подход
Вместо p-value байесовский метод вычисляет вероятность того, что B лучше A. Результат интуитивно понятен: «93% вероятность, что вариант B лучше». Использует бета-распределение и не требует фиксированного размера выборки.
Multi-Armed Bandit
Адаптивное распределение трафика
В отличие от A/B теста с фиксированным 50/50 сплитом, бандит динамически перенаправляет больше трафика на побеждающий вариант. Минимизирует потери от показа худшего варианта, но сложнее в интерпретации и может давать смещённые оценки.
Sequential Testing
Последовательное тестирование
Позволяет проверять результаты по мере накопления данных, не дожидаясь фиксированного размера выборки. Используются скорректированные пороги значимости (метод О'Брайена-Флеминга или spending-функции) для контроля ложноположительных результатов при множественных проверках.
MDE (Minimum Detectable Effect)
Минимальный обнаружимый эффект
MDE -- наименьшее изменение конверсии, которое тест способен обнаружить с заданной мощностью. Чем меньше MDE, тем больше выборка. Определяйте MDE из бизнес-логики: какое минимальное улучшение оправдывает затраты на внедрение изменения?
6 советов для корректных тестов
Типичные ошибки, которые приводят к неверным выводам, и как их избежать.
Не останавливайте тест рано
Дождитесь набора запланированного размера выборки. Ранняя остановка при "хороших" промежуточных результатах радикально увеличивает вероятность ложноположительного вывода.
Определите метрику заранее
Зафиксируйте первичную метрику ДО запуска теста. Выбор метрики после просмотра данных (p-hacking) -- одна из главных причин невоспроизводимых результатов.
Запускайте на полные недели
Поведение пользователей различается в будни и выходные. Длительность теста должна быть кратна 7 дням для учёта недельной сезонности.
Тестируйте одно изменение
При одновременном изменении нескольких элементов невозможно понять, что именно повлияло на результат. Изолируйте переменные или используйте многофакторный тест.
Проверяйте AA-тест
Перед запуском сплит-теста проведите AA-тест (оба варианта одинаковы). Если результат "значимый" -- у вас проблема с рандомизацией или инструментацией.
Учитывайте мощность
Мощность 80% означает, что у вас 20% шанс пропустить реальное улучшение. Для маленьких эффектов нужна большая выборка -- рассчитайте её заранее.
Как пользоваться калькулятором
Четыре шага к достоверным результатам вашего A/B теста.
Определите MDE и рассчитайте выборку
На вкладке "Размер выборки" введите текущую конверсию и минимальный эффект, который вас интересует. Калькулятор покажет, сколько посетителей нужно на каждый вариант.
Оцените длительность
Перейдите на вкладку "Длительность", введите дневной трафик. Калькулятор автоматически подставит размер выборки из предыдущего шага и покажет, сколько дней нужно на тест.
Запустите тест и соберите данные
Настройте эксперимент в вашем инструменте (Google Optimize, VWO, Optimizely или собственная система). Дождитесь набора запланированного количества посетителей.
Проверьте значимость
На вкладке "Тест значимости" введите данные обоих вариантов: количество посетителей и конверсий. Калькулятор мгновенно покажет, значим ли результат, p-value, Z-score и доверительный интервал.
Часто задаваемые вопросы
Похожие инструменты
Калькулятор транспортной инженерии: пропускная способность, светофор и дорожная одежда
Расчёты транспортной инженерии: пропускная способность дороги, дорожная одежда (ОДН 218), цикл светофора (Вебстер), тормозной путь, вираж.
Калькулятор эрготерапии: COPM, IADL, динамометрия и эргономика
Эрготерапевтические расчёты онлайн: COPM, шкала Лоутона (IADL), AMPS, сила хвата (Jamar), эргономика рабочего места, FSS.
Инвестиционный калькулятор (валюты, APR/APY, облигации)
Комплексный финансовый инструмент: конвертер валют, перевод APR в APY, доходность облигаций (YTM, дюрация).
Калькулятор мыловарения (SAP числа)
Щёлочь (NaOH/KOH) для холодного и горячего мыловарения. SAP числа масел, пережир, вода.
IP калькулятор: конвертер IPv4/IPv6 и подсети
Конвертация IPv4 в IPv6, расчет подсетей (CIDR), масок и диапазонов. Инструмент для сетевых инженеров.
Калькулятор экологической инженерии: ПДВ, рассеивание, НВОС и отходы
Экологические расчёты: рассеивание выбросов (ОНД-86), ПДВ, класс опасности отходов, плата НВОС, шумовое загрязнение, ОВОС.
Калькулятор скорости химической реакции
Уравнение Аррениуса k=A·e^(-Ea/RT), закон действия масс, период полупревращения и энергия активации.
Калькулятор читабельности текста: Flesch-Kincaid, Gunning Fog
Проверьте читаемость текста. Рассчитайте индексы Flesch-Kincaid, Gunning Fog и SMOG. Оцените сложность восприятия для аудитории.
Калькулятор доходности аренды
Чистая и валовая доходность аренды, окупаемость, ROI, Cap Rate, Cash-on-Cash. Для инвесторов.
Калькулятор иммунологии
Титр антител, анализ ELISA, субпопуляции лимфоцитов CD4/CD8, эффективность вакцин, комплемент CH50, цитокины.
Калькулятор астрономии: планеты, Луна и МКС
Положение планет, восход и заход Солнца, фаза Луны и трекер МКС. Астрономический календарь и карта звездного неба онлайн.
Калькулятор фрахтового класса (Freight Class)
Рассчитайте класс NMFC для вашего груза на основе плотности. Необходим для определения стоимости перевозки сборных грузов (LTL).
Калькулятор шумового загрязнения: сложение дБ, экран, звукоизоляция Rw
Расчёты шумового загрязнения: сложение источников (дБ), затухание с расстоянием, звукоизоляция Rw (СП 51), шумозащитный экран, LAeq.
Калькулятор видеокодирования: битрейт, кодеки H.264/H.265/VP9/AV1, стриминг
Комплексный калькулятор видеокодирования: расчёт битрейта и размера файла, разрешение и соотношение сторон, время кодирования FFmpeg (CPU/GPU), настройки стриминга Twitch/YouTube/VK, планирование хранения и оценка качества PSNR/SSIM/VMAF.
Калькулятор зон пульса (ЧСС)
Рассчитайте зоны пульса по формуле Карвонена и %HRmax. 5 тренировочных зон: восстановление, жиросжигание, аэробная, анаэробная.
Лиана Арифметова
Миссия: Демократизировать сложные расчеты. Превратить страх перед числами в ясность и контроль. Девиз: «Любая повторяющаяся задача заслуживает своего калькулятора».
Отказ от ответственности
Только для информационных целей. Все расчёты, результаты и данные, предоставляемые данным инструментом, носят исключительно ознакомительный и справочный характер. Они не являются профессиональной консультацией — медицинской, юридической, финансовой, инженерной или иной.
Точность результатов. Калькулятор основан на общепринятых формулах и методиках, однако фактические результаты могут отличаться в зависимости от индивидуальных условий, исходных данных и применяемых стандартов. Мы не гарантируем полноту, точность или актуальность приведённых расчётов.
Медицинские, финансовые и профессиональные решения должны приниматься исключительно на основании консультации с квалифицированными специалистами — врачом, финансовым советником, инженером или другим профессионалом в соответствующей области. Не используйте результаты данного инструмента как единственное основание для принятия важных решений.
Ограничение ответственности. Авторы и разработчики сервиса не несут никакой ответственности за прямой или косвенный ущерб, возникший в результате использования данных расчётов. Пользователь принимает на себя всю ответственность за интерпретацию и применение полученных результатов.