В начале любого эксперимента лежит гипотеза. Гипотеза – это какое-либо утверждение, которое требует непосредственной проверки.
К примеру, возьмем надпись на кнопке «Купить сейчас» будет более эффективной и иметь высокие показатели конверсии, чем обыкновенная надпись «Хочу!» для пользователей, которые пришли на сайт с контекстной рекламы.
Построение гипотезы имеет свою определенную конечную цель, которая заключается в повышении прибыли, но KPI для эксперимента служит повышением конверсии. Повышение преобразований в n раз содействует одновременному уменьшению стоимости лида и повышению их количества в n раз.
Как рассчитываются показатели до и после увеличения конверсии
Для выполнения наших расчетов обозначим бюджет рекламной кампании как B, число трафика – T, Nдо, Clдо, CVдо – индексы до роста конверсии; Nпосле, CL после, CVпосле – индексы после увеличения конверсии. Существует следующие соотношения:
Тогда
Также само будет и для N:
Главной задачей тестирования канала является запуск трафика именно с этого канала и в оценке полученных результатов. Также существует несколько причин, которые могут привести к неудовлетворительному результату. Такими могут быть как то, что данный канал не используется целевой аудиторией веб-ресурса, так и неправильно подобранное рекламное сообщение.
При проведении тестирования рекламного сообщения проводят следующие действия:
-
Выбирают два или более рекламных сообщений.
-
Ведут разработку гипотезы такого вида как «рекламное сообщение 1», которое служит получению конверсии выше, чем у «рекламного сообщения 2».
-
Оценка плодов после проведения сбора показательных данных.
-
Включение сразу нескольких рекламных кампаний с различными сообщениями. Для того чтобы эксперимент был более чистым, следует первоначально обеспечить на рекламном источнике однородность трафика. Это нужно для того, чтобы эти объявления видели одинаковые аудитории.
Какие эксперименты используют для проведения тестирования изменений на сайте
Для того чтобы провести тестирование изменений на сайте применяют три типа экспериментов. Наиболее простой и самый распространенный из них называется А/В-тестирование, которое используют для сравнения двух вариантов посадочной страницы – А и В. Применяют их все на нескольких страницах – landing page, иначе не будет нужной чистоты эксперимента, потому как целевые действия выполняемые посетителями не обязательно будут на тестируемых страницах, а это значит, что появится больше различных факторов, влияющих на конверсию.
Как провести А/В тестирование
Проводить разделения трафика можно различными способами. Давайте рассмотрим несколько из них:
→ равномерный – трафик будет иметь равномерное распределение по тестируемым страницам;
→ «многорукий бандит» - перераспределение трафика происходит после каждого успешно-совершенного целевого действия, которое будет происходить в пользу лучших из имеющихся вариантов.
При большем потоке трафика метод, который называется «многорукий бандит» дает возможность сэкономить время на проведение значимого статичного эксперимента, потому как на те целевые страницы, что имеют самую высокую конверсию, будет поступать самый большой процент всего трафика. Если говорить о не конверсионных вариантах, то они постепенно исключаются из тестирования. Для тех сайтов, которые имеют небольшой поток трафика необходимо 233 дня для того, чтобы найти лучшие варианты из двух тестируемых страниц в том случае, если применяется равномерное распределение, а при использовании «многорукого бандита» понадобится 66 дней. Опасность данного метода заключается в том, что если при маленьком потоке трафика в начале эксперимента трафик распределяется случайным образом и превалирует в сторону одного варианта, то второй никогда не сможет возвратить себе тот трафик, который был потерян.
Как выглядит отчет «Эксперименты» в Google Analitics
Для каждого существующего варианта целевой страницы отображается то количество людей, которые увидели данный вариант, конверсия варианта, а также количество достижений, что были выбраны при настройке эксперимента цели. Когда вероятность превосходства одного из вариантов целевой страницы доходит до предела в 95% эксперимент автоматически заканчивается и выбирает превосходящую страницу в качестве оптимального варианта целевой страницы.
Некоторые сервисы, присутствующие в А/В-тестировании имеют свои онлайн-редакторы страниц, а также могут назначать проценты трафика для каждой страницы, которая тестируется. Но главной задачей экспериментов остается то же, что и ранее, а именно поиск вариантов целевой страницы, обладающей большей конверсией. Хотелось бы отметить и то, что А/В-тестирование в своем процессе может применять до 5 различных вариантов страницы. В принципе их достаточно, но количество можно увеличить при наличии большего объема трафика, правда, это возможно не для всех сервисов.
Еще А/В-тестирование можно использовать, когда проходит проверка гипотезы однородности трафика. В этом случае проводят А/А-эксперимент. Он запускает тестирование страниц, которые имеют одинаковые варианты. Гипотеза будет считаться верной в том случае, если оба варианта страниц будут иметь одинаковую конверсию. Иначе трафик будет неоднородным, и проводить какие-либо эксперименты на нем нельзя. Так же можно совместить два эксперимента А/А и А/В, используя при этом три различных варианта страниц, два из которых будут одинаковыми. Но это будет возможно лишь в том случае, если трафик будет в достаточном объеме.
Что такое многовариантное тестирование
Существует еще один тип тестирования, которое получило название многовариантное тестирование. Данный метод в целом смахивает на проведение нескольких А/В-экспериментов. Его также можно использовать для landing page. В случае многовариантного тестирования страницу разбивают на блоки, для которых существует несколько вариантов их исполнения. Те страницы, которые являются итоговыми, комбинируются из различных вариантов блоков.
При помощи многовариантного тестирования можно увидеть сочетания элементов, которые будут более выгодными и определить, какие из них больше всего имеют влияние на поведение клиентов. Как правило, инструменты, которые позволяют проводить многовариантное тестирование, являются платными.
Так же это тестирование позволяет замерять результаты до и после внедрения, каких-либо изменений на странице или веб-ресурсе. В этом случае необходимо знать, что время проведения замеров результатов будет совершенно разным, поэтому чистоты эксперимента добиться не удастся. Еще хотелось заметить то, что на результаты могут влиять различные изменения в источниках трафика, сезонность и многие другие факторы.