Optimizely — известная платформа экспериментов, но её тарифы рассчитываются индивидуально, а цену называют только по запросу. Если нужна строгая статистика A/B-тестов без долгих согласований, попробуйте Сплит — российский сервис A/B-тестирования сайтов от Пиксель Тулс.
Сплит считает итоги последовательным тестом — тем же подходом, на котором построен Stats Engine в Optimizely, — и добавляет к нему CUPED, поправку на несколько вариантов и проверку деления трафика. Для разработчиков есть SDK для PHP, JavaScript, Python и Go и API, а маркетологи могут собирать варианты без программиста.
+21,4 % вариант B разница не случайна тест идёт · 5 дней
1строка кода на сайте — и можно запускать тесты
5мини скрипт начнёт делить посетителей на варианты
20 000посетителей в тестах в месяц на бесплатном тарифе
0₽чтобы начать: все возможности сервиса доступны сразу
Почему ищут российский аналог Optimizely
Optimizely — комплексная платформа из нескольких продуктов, и её стоимость рассчитывается индивидуально, по запросу. Для компании, которой нужны A/B-тесты сайта и корректная статистика, а не вся экосистема платформы, это бывает избыточно. Кроме того, многим важны документация и поддержка на русском языке и возможность начать без договора.
Сплит берёт из мира крупных платформ то, что действительно влияет на качество выводов, — последовательный тест, CUPED, поправку на несколько вариантов и проверку SRM — и делает это доступным с бесплатного тарифа.
Открываем отчёт каждый день пример
B лучше на 18 %!случайность Вывод: B лучше на 9 %
Обычный тест: «победа» на 4-й день — случайнаяСплит: «пока не ясно», вывод — когда данных хватило
Кому подойдёт Сплит вместо Optimizely
Аналитикам и тем, кто строго относится к статистике
Обычный тест «врёт», если подглядывать в него по ходу. Сплит использует mSPRT: вывод верен в любой момент, сколько бы раз вы ни открывали отчёт. При нескольких вариантах действует поправка Холма, а если посетители разошлись не так, как заданы доли, Сплит предупредит, что тест сломан.
Разработчикам и продуктовым командам
Варианты можно показывать на сервере через SDK для PHP (в том числе Laravel), Node.js, Python и Go или в браузере через split.js с хуками для React и Vue. API позволяет создавать, запускать и останавливать тесты и забирать итоги в свои отчёты.
Командам, которым нужен быстрый старт
Не нужно ждать коммерческого предложения: зарегистрируйтесь через аккаунт Пиксель Тулс, вставьте строку кода и запустите первый тест на бесплатном тарифе.
Сравнение Optimizely и Сплита
Сравниваем то, что Optimizely публикует в документации и на странице тарифов, с возможностями Сплита.
Критерий
Optimizely
Сплит
Статистика
Stats Engine — последовательное тестирование
Последовательный тест mSPRT, поправка Холма, CUPED, проверка SRM
Режимы тестов
A/B/n-тесты и multi-armed bandit
Несколько вариантов (a, b, c…) и режим «Бандит»
Цена
Индивидуальный расчёт по запросу
Бесплатный тариф; «Про» и «Агентство» — цена по запросу
Кроме того, в Сплите на всех тарифах есть защитные цели с автостопом, группы взаимоисключения, контрольная группа сайта и выкатка победителя без программиста.
Что можно тестировать в Сплите
Сплит подходит для тестов:
интерфейса — текстов, кнопок, блоков и порядка элементов;
логики продукта — онбординга, шагов воронки и флагов функций на сервере;
монетизации — цен, тарифных сеток и выручки на посетителя;
целых страниц — нового лендинга на отдельном адресе.
В режиме «Бандит» Сплит раз в час отдаёт больше трафика лидеру, оставляя каждому варианту не меньше 5%, — это удобно для коротких промо, когда важнее заработать, чем проверить гипотезу.
«Проверить бесплатно» лучше
Цель «Зарегистрировался» достигают чаще: 4,7 % против 3,9 % у «Попробовать» (+21,4 %). Разница не случайна (p = 0,004). Скорее всего эффект от +4,0 % до +39,0 %. Можно оставлять «Проверить бесплатно» для всех.
AПопробовать
Попробовать: 3,9 %184 из 4 710 дошли до целиНа самом деле — скорее всего от 3,4 % до 4,5 %
3,9 %184 из 4 710
контроль
BПроверить бесплатно
Проверить бесплатно: 4,7 %222 из 4 690 дошли до целиНа самом деле — скорее всего от 4,2 % до 5,4 % Эффект — скорее всего от +4,0 % до +39,0 %Разница с контролем не случайна (p = 0,004)
4,7 %222 из 4 690
+21,4 %
Как начать
1
Подключите скрипт
Вставьте строку в <head> или отдавайте скрипт со своего сервера. Для серверных тестов подключите SDK для своего языка: PHP, JavaScript, Python или Go.
Опишите варианты кодом, правками страницы или разными адресами. Отметьте основную цель, а при необходимости — защитную: если вариант её просадит, Сплит сам остановит тест.
js
if (ptsAb.variant('cta') === 'b') {
button.textContent = 'Проверить бесплатно'
}
3
Запустите тест и дождитесь вердикта
Запустите тест по чек-листу и следите за отчётом: вердикт сверху покажет, кто лучше, насколько и сколько ещё посетителей нужно.
Если от Optimizely вам нужны в первую очередь A/B-тесты сайта и корректная статистика, Сплит закрывает эти задачи и доступен с бесплатного тарифа.
Чем последовательный тест лучше обычного?
Его можно проверять каждый день, не боясь ложной победы. Сплит не назовёт победителя наугад и честно напишет «Пока не ясно», если данных мало.
Как перенести тесты из Optimizely?
Тесты в Сплите настраиваются заново. Показ вариантов в коде переводится на SDK Сплита, а цели при необходимости возьмите из Яндекс Метрики или Google Analytics.
Можно ли выкатить победителя без релиза?
Да. Кнопка «Выкатить на всех» завершает тест и показывает выбранный вариант каждому посетителю, а «Вернуть как было» отменяет выкатку.
Подходит ли Сплит для одностраничных приложений?
Да. Сплит работает на любом сайте: лендингах, личных кабинетах и одностраничных приложениях. Цели в SPA можно отмечать вызовом в коде в момент, когда действие уже точно случилось, — одна конверсия засчитывается на человека и только после того, как он увидел вариант.
Сколько стоит Сплит?
Бесплатный тариф: 1 сайт, 2 теста одновременно, 20 000 посетителей в тестах в месяц. «Про» и «Агентство» — по запросу.
Строгая статистика A/B-тестов — без долгих согласований
Подключите Сплит, запустите первый эксперимент и получите вывод, которому можно верить.