Вы переработали страницу: новый заголовок, фото и кнопку. Конверсия подросла, но вы не знаете, какой элемент сработал. Если бы вы могли протестировать все комбинации и найти идеальное сочетание? Именно это и делает мультивариантное тестирование (MVT).
Мы — команда с 8-летним опытом в CRO. Мы провели более 30 MVT-экспериментов для интернет-магазинов, SaaS и лендингов. Наша методика гарантирует статистически значимые результаты. Например, в одном проекте мы тестировали четыре элемента на странице товара: заголовок, изображение, описание и CTA. Комбинаций было 48, но с помощью fractional factorial дизайна мы сократили до 8. Результат — рост конверсии на 23% по сравнению с первоначальной версией. В другом проекте для SaaS-сервиса MVT на странице регистрации позволил поднять конверсию на 31% за счёт изменения формы и блока отзывов. Средний рост конверсии на наших проектах — 15-30%, что при вашем текущем трафике может означать дополнительную выручку.
Что такое мультивариантное тестирование?
MVT — это метод экспериментальной оптимизации, при котором одновременно изменяются несколько элементов страницы: заголовок, изображение, CTA, форма или другие блоки. В отличие от A/B теста, где сравниваются всего две версии, MVT создаёт все возможные комбинации вариантов каждого элемента. Это позволяет не только определить победившую комбинацию, но и выявить, как элементы взаимодействуют друг с другом — так называемые эффекты взаимодействия.
Почему MVT лучше A/B теста?
| Критерий | A/B тест | MVT |
|---|---|---|
| Количество изменений | 1 (2 варианта) | 2+ элемента × N вариантов |
| Объём трафика | Меньше | Значительно больше |
| Скорость | Быстрее | Медленнее |
| Взаимодействие элементов | Не определяет | Определяет |
| Цель | Один победитель | Лучшая комбинация |
MVT незаменим, когда изменения взаимозависимы, трафика достаточно, нужно понять взаимодействие заголовок + CTA + изображение. A/B тест не покажет, что новый заголовок усиливает эффект новой кнопки, а MVT — покажет.
Как выбрать элементы для MVT?
Выбор элементов критичен. Обычно мы начинаем с тепловых карт и аналитики: где пользователи останавливаются, какие блоки кликабельны. Типичные кандидаты — заголовок, цена, изображение, CTA, форма. Важно не тестировать больше 3-4 элементов одновременно, иначе число комбинаций взрывается. Если трафика мало, применяем fractional factorial design или полный факторный эксперимент с частичным дроблением.
Как рассчитать нужный трафик для MVT?
Пример: тестировать на странице товара:
- Заголовок: 2 варианта (A, B)
- Изображение: 3 варианта (A, B, C)
- CTA кнопка: 2 варианта (A, B)
Итого: 2 × 3 × 2 = 12 комбинаций. Каждая комбинация — отдельный вариант. Расчёт по формуле:
def mvt_sample_size(n_combinations, baseline_cr, mde=0.05, alpha=0.05, power=0.8): """Каждая комбинация требует столько же трафика, сколько AB тест""" from scipy import stats import math p1 = baseline_cr p2 = baseline_cr * (1 + mde) p_avg = (p1 + p2) / 2 z_a = stats.norm.ppf(1 - alpha / 2) z_b = stats.norm.ppf(power) n_per_combo = ((z_a * math.sqrt(2 * p_avg * (1-p_avg)) + z_b * math.sqrt(p1*(1-p1) + p2*(1-p2))) / (p2-p1)) ** 2 total = n_per_combo * n_combinations print(f"Per combination: {math.ceil(n_per_combo):,}") print(f"Total needed: {math.ceil(total):,}") print(f"At 1000 daily visitors: {math.ceil(total/1000)} days") mvt_sample_size(n_combinations=12, baseline_cr=0.04, mde=0.15) # Per combination: 4,519 # Total needed: 54,228 # At 1000 daily visitors: 55 days Если трафика недостаточно — используем fractional factorial design. Например, с Latin Square тестируем 4 комбинации вместо 12, теряя часть взаимодействий, но экономя ресурсы.
Как мы реализуем MVT на вашем сайте?
Мы используем Optimizely или собственный JavaScript-решатель. Пример программного подхода:
// Optimizely Snippet (добавить в <head>) <script src="https://cdn.optimizely.com/js/PROJECT_ID.js"></script> // Программный вариант const optimizely = window.optimizely || [] // Получить вариацию для конкретного эксперимента const variationKey = optimizely.get('state').getVariationMap()['mvt_homepage_elements'] // variationKey = "headline_B_image_C_cta_A" // Реализация без Optimizely function getMVTVariant(userId, elements) { const variants = {} for (const [element, options] of Object.entries(elements)) { const hash = cyrb53(`${userId}_${element}`) variants[element] = options[hash % options.length] } return variants } const elements = { headline: ['Купите сегодня', 'Скидка 20% для новых клиентов'], image: ['lifestyle', 'product-white', 'product-action'], cta: ['Добавить в корзину', 'Купить сейчас'], } const variants = getMVTVariant(userId, elements) // variants = { headline: 'Купите сегодня', image: 'product-action', cta: 'Купить сейчас' } // Применить варианты к DOM applyVariants(variants) // Зафиксировать в аналитике gtag('event', 'mvt_assignment', { experiment: 'product_page_mvt', headline: variants.headline, image: variants.image, cta: variants.cta, combination: Object.values(variants).join('_') }) Собственная реализация даёт полный контроль над экспериментом и не требует лицензионных отчислений. Мы также интегрируем тест с вашей аналитической системой — Google Analytics, Яндекс.Метрика или Amplitude. Все наши инженеры сертифицированы по Optimizely и имеют опыт работы с фреймворками React, Vue, Next.js.
Анализ результатов
import pandas as pd from scipy import stats def analyze_mvt(data): """data: DataFrame с колонками combination, visitors, conversions""" data['cvr'] = data['conversions'] / data['visitors'] data = data.sort_values('cvr', ascending=False) # Найти лучшую комбинацию best = data.iloc[0] control = data[data['combination'] == 'baseline'].iloc[0] print(f"\nTop combinations:") print(data.head(5).to_string()) # Статистическая значимость лучшей vs контроль from scipy.stats import proportions_ztest _, p_value = proportions_ztest( [best['conversions'], control['conversions']], [best['visitors'], control['visitors']] ) print(f"\nBest: {best['combination']} CVR={best['cvr']:.2%}") print(f"Control: CVR={control['cvr']:.2%}") print(f"P-value: {p_value:.4f}") # Анализ главных эффектов (main effects) # Насколько каждый элемент в отдельности влияет на конверсию for element in ['headline', 'image', 'cta']: effect = data.groupby(element)['cvr'].mean() print(f"\nMain effect of {element}:") print(effect.sort_values(ascending=False)) Мы всегда анализируем главные эффекты — это помогает понять, какой элемент вносит наибольший вклад. В нашем опыте, часто изображение оказывает больший эффект, чем заголовок. Например, в одном проекте изменение только изображения дало +8% к конверсии, тогда как одновременное изменение заголовка и CTA — +12%.
Процесс работы
| Этап | Что делаем | Срок |
|---|---|---|
| Анализ | Собираем данные по текущей конверсии, определяем элементы для теста | 1-2 дня |
| Дизайн | Проектируем комбинации с учётом fractional factorial при необходимости | 1 день |
| Реализация | Настраиваем инструмент (Optimizely/JS), интегрируем с аналитикой | 1-2 дня |
| Валидация | Проверяем корректность распределения трафика, отсутствие ошибок | 1 день |
| Запуск | Запускаем тест, мониторим отклонения | 1 день |
| Анализ | По завершении собираем результаты, вычисляем победителя и главные эффекты | 1-2 дня |
Типичные ошибки при MVT
- Тестирование слишком большого количества элементов (≥5) — экспоненциальный рост комбинаций.
- Преждевременная остановка теста до достижения статистической значимости.
- Использование одинаковых вариантов для разных элементов (например, два одинаковых заголовка).
- Неучёт эффектов взаимодействия — интерпретация главных эффектов без проверки взаимодействий.
- Игнорирование сегментов трафика: на мобильных пользователях эффекты могут отличаться.
Мы гарантируем, что каждый тест проходит валидацию на корректное распределение трафика и отсутствие конфликтов с другими экспериментами.
Что входит в работу
- Документация: описание гипотез, дизайн эксперимента, план анализа.
- Реализация кода на вашем сайте (с доступом к репозиторию).
- Интеграция с Google Analytics, Яндекс.Метрикой или любой другой системой.
- Еженедельные отчёты о ходе теста.
- Финальный отчёт с рекомендациями по внедрению победившей комбинации.
- Поддержка в течение месяца после завершения теста.
Сроки и стоимость
Планирование и реализация MVT с полным анализом — от 5 до 7 рабочих дней. Стоимость рассчитывается индивидуально, в зависимости от сложности эксперимента и количества элементов. Мы гарантируем прозрачность на каждом этапе.
Если вы задумываетесь о MVT, закажите консультацию для предварительной оценки трафика и гипотез. Свяжитесь с нами, чтобы получить оценку вашего проекта. Опишите задачу, и мы предложим оптимальный план тестирования.