другой

Ваше пошаговое руководство по A / B-тестированию с Google Optimize

A / B тесты могут быть такими же простыми, как чтение алфавита.

Возьмите вашу текущую веб-страницу, называемую «контроль» (A), сделайте копию и измените элемент, чтобы иметь немного другой макет, называемый «вариант» (B), разделите трафик между ними, а затем направьте весь ваш трафик на версия, которая имеет лучший коэффициент конверсии.

Ладно, может быть, это не совсем просто.

Большинство людей борются со своими первыми тестами A / B. Они не знают, какие инструменты использовать, как настроить тест или как узнать, когда он будет выполнен.

Если вы попадаете в эту категорию, вы, конечно, не одиноки.

К счастью, вы находитесь в правильном месте.

В этой статье я покажу вам бесплатный инструмент A / B-тестирования, который доступен всем владельцам сайтов. Я проведу вас через процесс создания учетной записи, запуска первого теста и отслеживания результатов.

Я также дам вам руководство по разработке эффективных тестов, а также другую информацию, которая поможет вам максимально использовать ваши усилия по оптимизации сайта для конверсий.

Звучит хорошо

Отлично. Давайте начнем.

Что такое А / Б тест?

Прежде чем приступить к тому, как проводить A / B-тестирование в цифровом маркетинге, важно иметь четкое представление о том, что такое A / B-тестирование (или A / B-сплит-тестирование).

Чтобы было ясно, каждый владелец сайта должен выполнить A / B тесты.

Но почему они так важны?

Самый простой ответ заключается в том, что они являются эффективным способом определения потенциальных улучшений, которые могут оказать большое влияние на ваш успех в Интернете.

Базовый A / B тест выглядит так:

основной пример тестов ab

Создайте вариант страницы, разделите трафик между ними и посмотрите, какой из них наиболее эффективен для создания целевой конверсии (это может быть покупка, подписка или любая цель, которую вы хотите, чтобы посетители вашего сайта выполняли).

Затем используйте эту информацию, чтобы сделать элементы наиболее эффективного варианта постоянными.

Общая идея заключается в том, что, запуская A / B-тесты, вы будете определять, как создать страницу, которая лучше всего подходит для конкретной цели. Затем вы можете опубликовать его как страницу, которую вы хотите, чтобы все посетители сайта видели.

Простой. Но работает ли это?

Почему я должен проводить A / B тесты?

Ответ на этот вопрос зависит от того, как вы настроили свои тесты, но у вас наверняка есть потенциал для этого.

В одном примере компания электронной коммерции WallMonkeys увеличила конверсию на 550 процентов, используя комбинацию A / B-тестирования и термического картирования.

С правильными целями и целями, A / B-тестирование может оказать большое влияние на вашу способность стимулировать продажи и другие важные преобразования.

Это потому, что когда вы запускаете A / B-тесты, у вас есть возможность узнать, что работает для вашей аудитории.

Если вы потратили какое-то время на просмотр блогов о цифровом маркетинге, вы, вероятно, видели десятки, если не сотни, «лучших практик» по повышению коэффициентов конверсии.

Многие из них подкреплены многочисленными исследованиями, и владельцы сайтов, которые видели успех, хвалят их эффективность. А в некоторых случаях внедрение таких же изменений на вашем собственном сайте может привести к увеличению количества конверсий.

Но это не гарантировано.

Ваша аудитория, скорее всего, будет состоять из совершенно другой группы людей. Поэтому их выводы могут не применяться вообще.

Например, добавление социальных форм в формы обычно считается лучшей практикой. Идея заключается в том, что статистика, показывающая ваши текущие номера подписчиков, уровень удовлетворенности клиентов или определенный результат, который увидели ваши клиенты, может придать посетителям уверенность в вашем бренде.

Поэтому, когда представили следующие варианты формы подписки по электронной почте, большинство маркетологов ожидали, что первый вариант будет работать лучше.

выбрать форму теста AB

Но после запуска A / B-теста с обоими версия B увеличила количество подписок на 122%.

Невозможно точно знать, почему это было так. Возможно, посетители были отвлечены дополнительной строкой текста. Или, может быть, обещание «бесплатных обновлений» не было убедительным.

Но это не имеет значения.

Реальный вывод состоит в том, что с этой конкретной аудиторией форма без социального доказательства была более эффективной. Такую информацию вы можете получить только с помощью А / Б тестов.

Кроме того, он не ограничивается только формами и другими конкретными элементами преобразования. Вы также можете использовать A / B-тесты, чтобы определить, какие элементы дизайна предпочитают ваши посетители, или какие дизайны побуждают их проводить больше времени на вашем сайте.

Например, в одном тесте интернет-газета McClatchy переместила свои фотографии истории с левой стороны копии вправо.

фотографии истории ab test

Это кажется относительно незначительным изменением. Ведь ни один из элементов не отличается по вариации, они просто по-разному расположены на странице.

Но выровненная по правому краю версия показала на 20 процентов больше кликов, на 10 процентов больше трафика и в целом большую среднюю продолжительность сеанса.

Вы также можете пойти дальше, удалив определенные элементы на своей странице, чтобы увидеть, как они влияют на то, как люди перемещаются по вашим страницам.

Если вы считаете, что элемент отвлекает ваших посетителей от основных призывов к действию, вы можете создать вариант страницы без этого элемента и посмотреть, что произойдет.

Например, когда Yuppiechef захотел увеличить конверсию на целевой странице для своей службы онлайн-регистрации, они удалили свою навигационную панель со страницы.

домашняя страница yuppiechef

Сначала это может звучать как плохая идея.

Ведь панель навигации – это один из самых важных элементов любого сайта. Будет ли удаление его смущать посетителей и отгонять их?

Не в этом случае

Фактически, удаление панели навигации привело к 100-процентному увеличению числа конверсий страниц.

Таким образом, когда вы запускаете свои тесты, вы можете быть удивлены тем, какие элементы предпочитают ваши клиенты, и что дает наилучшие результаты для вашего бизнеса.

В результате появился целый веб-сайт, посвященный предположению, какие варианты выиграли A / B-тестирование, и причина того, что это интересно, заключается в том, что действительно сложно предсказать предпочтения конкретной целевой аудитории каждого бренда.

Когда вы начнете видеть результаты ваших A / B-тестов, вы можете быть уверены, что они специфичны для вашей аудитории, что гораздо полезнее, чем любые общие рекомендации.

Ключевые вещи, чтобы попробовать

Когда дело доходит до ваших A / B тестов, какие Ваш тест будет зависеть от типа вашего бизнеса. Тем не менее, есть шесть ключевых элементов, которые все бренды должны включить в свои тесты A / B.

заголовок

Ваш заголовок должен быть привлекательным и действенным. Вы должны обратиться к своей аудитории напрямую. Помимо этого, фактическое содержание ваших заголовков зависит от вас. Попробуйте разные версии ваших заголовков, чтобы увидеть, какой из них получает клик на реальной странице или статье.

Например, компания Highrise, занимающаяся разработкой программного обеспечения для CRM, увидела 30-процентное увеличение количества кликов, когда они изменили название своей регистрации, чтобы показать, насколько быстрой была регистрация.

Кнопка призыва к действию

Если вы не видите большого взаимодействия со своими призывающими к действию кнопками или считаете, что они могут быть лучше, попробуйте их расположение.

Они слишком далеко на странице?

Вы страдаете от слепоты в правом ряду?

Попробуйте разные места, чтобы увидеть, какой из них получает больше всего кликов.

Вы также можете изменить цвет, форму, размер и шрифт, чтобы увидеть, на что реагирует ваша аудитория. Только не забудьте попробовать по одному изменению за раз. Если вы введете слишком много переменных, будет трудно определить, какая из них действительно оказывает влияние.

Скопировать призыв к действию

Если ваши клики CTA все еще слабы, это может быть копия, которую вы используете. Ваша копия CTA должна ясно дать понять вашему посетителю, что вы ожидаете от него. Он должен быть как его владелец: броский и действенный. И это должно быть кратко.

Протестируйте варианты своей копии CTA, чтобы увидеть, помогает ли она преобразованию.

Копия продаж

Если вы не видите много конверсий, ваша коммерческая копия может быть запутанной или недоступной. Используйте разные версии в ваших тестах A / B.

Вы даже можете попробовать представить свои цены.

Финская компания, занимающаяся разработкой программного обеспечения для управления событиями, обнаружила, что люди переходят между ее страницей цен и страницей функций. Казалось, что посетители не получили достаточно четкое представление о том, что включены в каждый план.

Если вы являетесь компанией бизнес-класса и хотите серьезно отнестись к A / B-тестированию, это может быть правильным выбором для вас.

Но бесплатная версия предлагает множество функций для большинства малых и средних предприятий. Вот почему в этом посте мы сосредоточимся исключительно на доступных вариантах пробной версии.

Теперь давайте начнем.

Здесь мы покажем вам, как начать свой первый тест с помощью Google Optimize, за четыре простых шага.

1. Подготовка к экзаменам

Есть много вещей, которые вы можете узнать из A / B теста.

Вы можете запустить один, чтобы определить, следует ли вам сосредоточиться на одной цели конверсии или стремиться к нескольким целям конверсии. Вы можете запустить другой, чтобы определить, какие элементы дизайна и сообщения наиболее убедительны для вашей аудитории.

Существует множество вариантов, и многие из них могут дать полезное руководство по улучшению вашего сайта.

Но независимо от того, что вы тестируете, не забывайте указывать свои приоритеты. Конечной целью любой оптимизации коэффициента конверсии или процесса CRO должно быть увеличение общего дохода.

И хотя конверсии и доходы обычно коррелируют, иногда это не так.

Представьте, что вы настроили A / B-тест, чтобы выбрать лучший макет страницы, чтобы увеличить скорость подписки. Он считает, что изменение копии CTA для выделения бесплатного ресурса приведет к увеличению количества подписок.

Это работает!

Уровень вашей подписки стремительно растет, но дизайн как-то вредит вашему уровню продаж и приносит меньший доход.

Это может свести вас с ума. Но вы сохраняете свой выигрышный дизайн?

Абсолютно нет.

Всегда выбирайте страницу, которая увеличит вашу прибыль, а не только ваши конверсии. Предприятия работают на доход, а не коэффициенты конверсии.

То же самое касается практически любого аспекта вашей маркетинговой стратегии.

В этом примере A / B-теста компания пытается определить, какое ключевое слово дает наилучшие результаты для кампании PPC.

тест сравнения ключевых слов ab

Основываясь на этих первоначальных результатах, вы, вероятно, придете к выводу, что первое ключевое слово является лучшим выбором. В конце концов, 50 процентов посетителей это привлекают конвертировать.

По сравнению с 25-процентным коэффициентом конверсии для второго ключевого слова это значительный скачок и приводит к половине стоимости конверсии.

К сожалению, не все эти первые преобразования ключевых слов переводятся в продажи.

сравнение ключевых слов deux part 1 test ab

Фактически, только 10 процентов из них делают.

С другой стороны, посетители второго ключевого слова имеют 50-процентный уровень продаж. Таким образом, хотя они с меньшей вероятностью завершат базовое преобразование, они, как правило, ведут более высокого качества.

Имейте это в виду при тестировании.

Хотя огромный скачок в показателях конверсии впечатляет, вам следует сосредоточиться на получении конверсий от квалифицированных клиентов.

Это иногда сложнее, чем кажется.

Фактически, в одном из исследований основатель WordStream Ларри Ким обнаружил, что увеличение коэффициента конверсии обычно приводит к уменьшению количества потенциальных клиентов.

Коэффициент конверсии против AB теста квалифицированных ведет

Конечно, это не означает, что вы не можете увеличить свои продажи и доходы с оптимизацией коэффициента конверсии. Если бы это было так, это не было бы такой популярной тактикой, и мы не рекомендуем вам проводить A / B-тестирование.

Это просто означает, что у вас должно быть четкое представление о типах конверсий, которые вы хотите увеличить, и о том, кто является вашей целевой аудиторией.

Поэтому, прежде чем начинать тестирование, определите, чего именно вы хотите достичь. Это будет во многом зависеть от ваших общих целей.

Для блоггеров единую подписку можно считать конверсией.
Для магазина электронной коммерции конверсия может быть продажей, подпиской, подпиской на новостную рассылку, добавлением в корзину или даже нажатием на событие.

Цели конверсии, которые вы устанавливаете, зависят от вашей бизнес-модели, но убедитесь, что они предназначены для того, чтобы помочь вам достичь ваших более широких целей.

Определение конверсий, которые вы хотите увеличить, облегчит определение типов изменений, которые вы должны внести в свои варианты. Кроме того, это поможет вам с самого начала решить, какие результаты вы хотите увидеть.

Без этой информации может быть трудно точно определить выигрышный вариант, когда вы закончите тестирование.

Чем яснее вы достигаете цели, которую хотите достичь, тем легче вам будет достичь этой цели.

И если у вас возникли проблемы с выбором только одного, начните с перечисления всех ваших идей в электронной таблице.

Определите, какой из них окажет наибольшее влияние на цели вашей компании, и начните с нее.

Когда вы начнете регулярно проводить A / B-тесты, это будет полезный ресурс. Но пока, выберите отправную точку, затем перейдите ко второму шагу.

2. Создайте аккаунт с помощью Google Optimize.

Первый шаг при запуске тестов с Google Optimize – это создание учетной записи.

Вы можете сделать это, войдя в свою учетную запись Google Analytics, а затем перейдя в «Поведение»> «Эксперименты».

поведенческие эксперименты

Именно здесь раньше были эксперименты с контентом, но Google удаляет их для оптимизации. Вы можете подписаться, перейдя по ссылке «Подробнее».

изменить для оптимизации

Кроме того, вы можете перейти непосредственно к Google Optimize и нажать «Зарегистрироваться бесплатно».

Это необязательный шаг, но он может значительно улучшить взаимодействие с пользователем при запуске тестов.

Мерцание страницы – это когда посетитель быстро просматривает исходную страницу до появления варианта. Так, например, если заголовок вашей домашней страницы в настоящее время синий, и вы хотите попробовать зеленый вариант, он может выглядеть так, когда страница загружается для посетителя:

тест блинк тест бб

Это может раздражать посетителей и может быть легко предотвращено.

Если вы вручную добавили фрагмент «Оптимизировать» на свой сайт, просто скопируйте предоставленный код «Оптимизировать» и вставьте его непосредственно перед кодом отслеживания Google Analytics.

И если вы использовали плагин для реализации Optimize, включить эту функцию обычно так же просто, как установить флажок.

Этот быстрый шаг может показаться незначительным, но устранение мерцания обеспечивает лучший пользовательский опыт и помогает вам поддерживать идеальный вид на всем сайте.

3. Создайте эксперимент

Тогда пришло время создать свой первый эксперимент!

Нажмите кнопку «Создать эксперимент», введите URL-адрес страницы, которую вы хотите проверить, и выберите тип эксперимента, который вы хотите запустить.

экспериментальный тест имени б

Здесь у вас будет возможность запустить A / B-тест, многовариантный тест или тест перенаправления.

Первый вариант – это A / B-тест, который включает изменение одного элемента на каждой странице. Это позволяет легко определить, что именно приводит к вашим результатам.

Многофакторный тест имеет ту же общую идею, что и A / B-тест, но включает в себя изменение нескольких разделов на одной странице.

Это может быть полезно, если вы хотите протестировать радикально разные версии страницы, но также затрудняет определение элементов, отвечающих за реакцию ваших посетителей.

Наконец, тест перенаправления включает в себя тестирование двух совершенно разных страниц друг от друга.

Все это полезные опции для получения информации о производительности вашего сайта. Но в этой статье я буду придерживаться A / B-теста, и если вы новичок в CRO-тестировании, я рекомендую вам сделать то же самое.

Выбрав опцию A / B test, вы увидите, что ваша исходная страница выглядит как получающая 100 процентов трафика URL.

Нажмите «Создать вариант», чтобы изменить эту страницу для первого варианта.

оригинальный вариант

Для этого вам будет предложено установить расширение Google Optimize Chrome.

оптимизировать расширение

После завершения процесса установки страница, которую вы хотите протестировать, откроется в визуальном редакторе Google Optimize.

оптимизировать редактор тестов

Отсюда редактировать его варианты довольно просто. Нажмите на элемент, который вы хотите изменить, нажмите «Изменить элемент» и внесите необходимые изменения.

Например, если вы хотите протестировать другое изображение баннера на домашней странице, выберите это изображение, нажмите «Редактировать элемент», затем «Редактировать HTML».

изменить элемент

Затем замените URL текущего изображения на URL вашего варианта изображения.

редактировать HTML

Вы можете использовать тот же процесс для редактирования своей копии, призывов к действию, цветов кнопок и практически всего, что вы хотите проверить.

Завершив вариант, сохраните изменения и вернитесь в Google Optimize. Повторите этот процесс для любых других вариантов, которые вы хотите проверить.

Затем вам необходимо установить свои цели для теста. Прокрутите страницу вниз до раздела «Конфигурация» и выберите «Добавить цель эксперимента».

И если ты не Тем не менее, установите цели в Google Analytics, продолжайте и запустите свой первый тест, используя один из предустановленных параметров цели. Но сделайте приоритетной задачу установить пользовательские цели как можно скорее, и вы получите гораздо более действенные данные из ваших тестов.

В стандартной версии вы можете установить одну первичную цель и две вторичные цели для каждого запускаемого теста. Для большинства людей это достаточно.

Завершив настройку своих целей, перейдите на вкладку Таргетинг, чтобы определить, на каких из ваших посетителей вы хотите протестировать свои варианты. Это будет контролировать, сколько (и какие) ваших посетителей увидят одну из ваших тестовых страниц, в отличие от вашей исходной страницы.

Вы можете изменить эти проценты, нажав кнопку «Изменить» рядом с разделом «Взвешивание посетителей для таргетинга».

Это вся информация, которая необходима Optimize для запуска базового теста.

Но если вы хотите больше контролировать, какие из ваших посетителей видят ваши варианты, вы также можете использовать расширенные правила таргетинга, чтобы проводить свои тесты только с определенными сегментами вашей аудитории.

Когда вы закончите создавать свою аудиторию, выберите «Начать эксперимент», чтобы запустить тест.

начать эксперимент

Congrats! Ваш первый тест Google Optimize A / B запущен и работает.

Позвольте ему сделать это некоторое время, а затем вернитесь к четвертому шагу, чтобы увидеть свои результаты.

4. Проанализируйте свои результаты

Когда у вашего теста будет достаточно времени для сбора данных (в следующем разделе мы обсудим то, что считается «достаточным временем»), перейдите на вкладку «Отчеты» в разделе «Оптимизировать», чтобы увидеть ваши результаты. Ваши результаты будут разбиты на «карточки» с данными о том, как ваши варианты выполнялись.

Сначала вы увидите сводную карту. Это именно то, на что это похоже: обзор вашего теста и его результатов, основанный на вашей основной цели.

итоговое тестирование

В столбце улучшений вы увидите разницу в смоделированном коэффициенте конверсии между вашим выигрышным вариантом и исходной страницей для вашей основной цели.

Важно отметить, что это число не обязательно отражает фактические коэффициенты конверсии, наблюдаемые во время теста, но является гипотезой, основанной на собранных данных.

Далее, столбец «Вероятность быть лучшим» показывает вероятность того, что ваш выигрышный вариант неизменно превосходит все остальные. Чем выше это число, тем увереннее вы можете быть в своих изменениях.

Наконец, столбец «Вероятность превысить базовую линию» показывает вероятность того, что вариант получит лучшие результаты для целевой цели, чем исходная версия. Этот процент начинается с 50 процентов, чтобы учесть случайность, и увеличивается (или уменьшается) по мере накопления результатов на обеих страницах.

Внизу вашей сводной карты вы увидите график сеансов эксперимента, который показывает любой сеанс, в котором выполнялся эксперимент. Это включает сеансы, во время которых посетитель не видел эксперимент.

Последующие сеансы также включаются в сеансы эксперимента, чтобы показать конверсии, которые происходят после включения посетителя.

Следующая карточка на вкладке отчетов – обзор улучшений. Этот отчет более подробно описывает эффективность каждого варианта для ваших целевых задач.

Это также дает простой, на первый взгляд взгляд на ваши результаты с метриками с цветовой кодировкой: зеленые значения представляют значительное улучшение, в то время как красные значения представляют значительное снижение производительности.

обзор улучшений

Отсюда вы можете отсортировать результаты по целям, чтобы увидеть, где складываются ваши варианты.

Именно здесь становится чрезвычайно важно иметь четкое представление о том, чего вы хотите достичь. Когда ваши варианты имеют разные уровни улучшения для разных показателей, может быть трудно определить лучший.

Но когда вы сосредотачиваетесь на своей главной цели, легко выбрать победителя. Затем вы можете использовать другую информацию в отчете, чтобы получить дополнительную информацию о предпочтениях и поведении вашей аудитории.

Третья карта результатов содержит подробный отчет о вашей цели, который показывает эффективность каждого варианта для конкретной цели.

Выберите цель, на которой вы хотите сфокусироваться, в раскрывающемся меню в левом верхнем углу, а затем выберите варианты, которые хотите сравнить. Диаграмма внизу карты покажет производительность каждого варианта в течение вашего эксперимента.

объективная деталь

Цветные секции на графике показывают диапазон производительности, которого каждый вариант может достичь 95 процентов времени, а линия в середине каждого диапазона показывает его среднее значение.

В большинстве случаев вы заметите, что интервалы на графике с течением времени сужаются. Это связано с тем, что в начале любого эксперимента существует большая неопределенность производительности каждого варианта.

Например, когда только три посетителя увидели вариант, ответ каждого посетителя оказывает гораздо большее влияние. Таким образом, чем больше данных вы соберете, тем точнее вы получите представление о производительности каждого варианта.

Поскольку эти интервалы сужаются и ваши результаты становятся более четкими, вы также можете использовать свои данные, чтобы сделать более точные прогнозы того, как каждый вариант будет работать в будущем.

Помимо этих отчетов в Оптимизации, вы можете углубиться в свои результаты с помощью Google Analytics. Каждое посещение из Optimize отправляется в Google Analytics с именем эксперимента, идентификатором и номером варианта.

оптимизировать данные и тестировать

Это дает вам более полное представление о том, как посетители, которые видят определенные варианты, ведут себя на вашем сайте помимо ваших первоначальных целей.

8 советов, которые помогут вам максимально использовать Google Optimize

Google Optimize может быть мощным инструментом для анализа поведения пользователей и улучшения коэффициентов конверсии вашего сайта.

Но для того, чтобы получить ценные результаты, вам нужно эффективно и результативно выполнять свои тесты.

Отчасти это происходит благодаря опыту с программным обеспечением для тестирования Google A / B, но вы можете запустить процесс, следуя этим восьми советам.

1. Пусть ваши тесты пройдут достаточно долго, чтобы собрать значительные результаты

Во-первых, важно, чтобы каждый из ваших экспериментов продолжался достаточно долго, чтобы собрать достаточный объем данных.

Возможно, вы спешите запустить выигрышный вариант как можно быстрее. В конце концов, это кажется самым быстрым способом повысить коэффициент конверсии и начать получать результаты, которые вы хотите.

Но, как бы ни было заманчиво начать вносить изменения, как только результаты начнут появляться, важно, чтобы ваши тесты собирали статистически значимые результаты.

Запустив тест, вы можете начать видеть данные практически сразу.

сбор дта

На этом экране Google рекомендует проводить эксперименты не менее двух недель. Но это руководство следует рассматривать как абсолютный минимум, поскольку чем дольше вы проводите тест, тем более точные результаты вы увидите.

Вскоре после запуска нового теста можно увидеть быстрое увеличение коэффициента конверсии.

Это связано с тем, что при небольшом размере выборки даже одно или два преобразования могут выглядеть так, как будто они оказывают существенное влияние.

Например, на следующем графике показаны преобразования в двух версиях целевой страницы, где серая линия представляет исходную страницу, а синяя линия представляет вариант.

среднее регрессия

В эти первые дни, похоже, новый вариант значительно превосходит исходную страницу.

Захватывающие!

Но по мере того, как тест продолжал собирать данные, коэффициенты конверсии сходились до тех пор, пока они в среднем не стали почти одинаковыми.

Это означает, что внесение изменений на основе результатов первых нескольких дней было бы пустой тратой времени.

К сожалению, это явление встречается крайне часто – и многие владельцы сайтов допускают ошибку, внося изменения на основе этих ранних результатов.

В аналогичном примере ConversionXL выполнил A / B-тест для клиента электронной коммерции в общей сложности 35 дней. За это время они собрали почти 3000 транзакций за вариант.

Вот как выглядели их результаты:

тест электронной коммерции

В первые несколько дней Вариант 3 выиграл очень много. С точки зрения продаж, он приносил около 16 долларов на посетителя, тогда как контрольная версия приносила только 12,5 доллара на посетителя.

Even after a week, this was still the case. But by week two, that variant was passed by Variant 4 — and by the end of the month, there was almost no difference between any of them.

So, again: Calling this test too early would’ve driven this site owner to make a change that didn’t ultimately improve their conversions.

Of course, this isn’t siempre the case — but it’s a common enough scenario that it’s worth getting into the habit of letting your tests collect a significant amount of data before you take action.

The smaller your sample size, the more power each visitor has to impact your results.

For example, let’s say you run a test with two variants and each one gets 50 visitors. If your traffic numbers are normally relatively low, this might seem like a decent sample size.

So you look at your results: five visitors converted on Version A, and seven converted on Version B.

This means that Version A had a 10 percent conversion rate, while Version B achieved a 14 percent conversion rate.

So if Version A was your original page, implementing Version B would result in 40 percent more conversions!

Except that it probably wouldn’t.

Because this statistic was determined by just two visitors.

So it’s important to remember that when you first launch a test, even one visitor who behaves irregularly can skew your data.

This can lead you to draw inaccurate conclusions about your tests.

For example, in one ConversionXL experiment, they saw the following results two days after launching the test.

conversionxl 1 ab testing

The first variation was losing to the control version of the page by 89 percent, with a 0 percent chance of beating the original.

This was based on a sample size of just over 200 people, which some site owners might consider a large sample. And if ConversionXL had been satisfied with that number, these results would have indicated that they should scrap the variant and stick with the original.

But 10 days later, with an additional thousand visitors in the sample, that variation was winning with 95 percent confidence.

conversionxl 2

Of course, not all of your tests will show such drastic changes after the first few visitors.

But what’s important to remember is that they could — and when it comes to conversion rate optimization, effectiveness is much more important than speed.

It’s also important to consider the role of chance in your results.

In this example, one version of a page generates a 31.3 percent conversion rate, while another variant generates a conversion rate of 40.7 percent.

significance 1 ab testing

Does that mean that those additional conversions can all be attributed to the differences on the page, like new buttons and bold copy?

Нет.

With a relatively small sample size of 236 visitors, there could be tons of other factors at play. Maybe more of the visitors who saw the second variant were already planning to convert. Or maybe more of them were simply in a better mood.

Either way, this sample size isn’t enough to warrant making a permanent page update.

So how do you know when to stop?

Answers to this question vary by who you ask, but ConversionXL recommends that you run your tests until

They’ve had at least three weeks to collect data (but preferably four)
You’ve reached your pre-calculated sample size
You’ve achieved statistical significance of at least 95 percent

It’s important to note that they recommend you run your tests until all of these conditions are met — not just until whichever comes first.

And still, many experienced site testers have their own ways of determining whether a test is complete.

Ton Wesseling, founder of Testing Agency, for example, recommends that site owners test for “one purchase cycle”:

More traffic means you have a higher chance of recognizing your winner on the significance level you’re testing on! … Small changes can make a big impact, but big impacts don’t happen too often – … so you need much data to be able to notice a significant winner.

BUT – if your test lasts and lasts, people tend to delete their cookies, … so when they return in your test, they can end up in the wrong variation. So, when the weeks pass, your samples pollute more and more… and will end up having the same conversion rates. Test for a maximum of 4 weeks.

But Peep Laja, Principal at CXL Institute, says he would “not believe any test that has less than 250 to 400 conversions per variation.”

So what should you do if you’ve run your test for four weeks, but still haven’t hit your target sample size?

In general, it’s best to collect more data than less — so continue running your test.

And make sure to collect sufficient data before calculating statistical significance.

If you’re unfamiliar with the term, it means that you’ve achieved results that can’t be attributed to chance.

Factors like sampling errors and probability can throw off your results. Achieving statistical significance means (in theory) that you can be confident in the fact that your data isn’t being skewed by those factors.

Determining whether you can attribute improvements to specific changes reliably can be challenging, and calculating statistical significance is meant to help testers know for sure.

In the previous version of Google Analytics A/B testing tool, Content Experiments, you could fix the “confidence threshold” to determine the minimum confidence level that must be achieved before a winner could be declared.

The higher the threshold, the more confident you could be that the winning page would outperform other variations in the future.

Unfortunately, this feature didn’t carry over to Optimize. So you’ll need to do a little more work to determine if and when you can be confident in an experiment’s results.

You can start by deciding when to analyze a test’s results before you even launch it.

Some site owners do that by selecting a sample size or number of conversions, then stopping their test as soon as they hit that number. And while this can be a good way to make sure you don’t end your tests too soon, that target sample size is ultimately just a guess.

Instead, you can use tools like a sample size calculator to determine an effective sample size goal.

ab testing 2018

Start by entering the conversion rate of your existing page as a baseline, then set the minimum improvement you want to see. This will tell you exactly how many visitors you should aim to have for each variation before drawing any conclusions.

It’s important to note, though, that this calculator is based on the idea that the higher your expected uplift, the smaller sample size you need. So if you reach your target sample size but don’t see that target uplift, your results are not statistically significant.

Once you’ve hit your target sample size, you can use tools like this Kissmetrics A/B significance test to determine whether your results have statistical significance.

kissmetrics tool

Enter the number of visitors and conversions for each variation, and you’ll see a simple report with your results.

kissmetrics ab results

If you see a confidence rate of at least 95 percent, you can be fairly sure that your results were not due to chance — as long as you hit your target sample size before running this calculation.

To illustrate why this is so important, I’ll refer back to that original ConversionXL experiment that showed the new variant losing to the original page by 89 percent.

The entire point of calculating statistical significance is to arrive at definitive conclusions. So entering that data into a statistical significance calculator would’ve shown that there was a margin of error, right?

не

Here’s what the results looked like when plugged into a significance calculator:

conversionxl significance

This shows an improvement of over 800 percent, with 100 percent certainty.

Of course, we already know that the “100 percent certainty” part is wrong — but without that knowledge, these results would look pretty convincing.

In fact, some site owners would stop the test right here. They’d implement the winning variation, and maybe even use their new “insight” to change dozens of other pages on their site.

This would not only not lead to a significant improvement in conversion rates, but would also be a huge waste of time.

So before you calculate statistical significance, make sure you’ve collected enough data that your results can actually be significant.

And as a caveat, even if you do reach a large sample size and statistically significant results within a few days, it’s important to run your tests for at least a full week.

In fact, it’s best to run your tests in intervals of full weeks. So, for example, if your test starts on a Friday, end it on a Thursday.

It’s extremely common to see fluctuation in traffic and user behavior over different days of the week. This is especially true when comparing weekdays to weekends, but it’s often unpredictable.

For example, in this report, Thursday’s 4.26 percent conversion rate is drastically higher than Saturday’s 2.43 percent.

dayoftheweek ab testing report

If this site owner had run a test from Sunday through Wednesday, their results would be very different than if they’d run it Tuesday through Saturday.

These variations can be attributed to any number of reasons.

For example, if you run a restaurant, someone might visit your site during the week as they’re planning their weekend. They’ll check out your menu and hours, then leave.

Then, they might return to your site the following Saturday to make online reservations.

If several of your visitors follow this same process, this could result in a huge difference in conversion rates — and lead you to believe that your tests aren’t producing the results you want.

So as you run your A/B tests, it’s important to be patient. Accumulate a large enough sample size, aim to achieve statistical significance, and be careful not to collect skewed data.

Claire Peña, Growth Marketing Manager at Splunk warns, “Data analysis and testing is empowering because it takes out bias, which is natural to human nature. But if you rush the tests with too low volume, it’s all for nothing.”

Letting your tests just run requires patience, but is more than worth it when you’re able to make changes that have a real impact on your business.

2. Test your navigation

Your navigation is one of the most important parts of your site. It plays a major role in how visitors make their way through your pages and interact with your content.

So even though you might think that your navigation is intuitive and user-friendly, it’s a good idea to run some tests to make sure that’s really the case.

Even minor issues can throw your visitors off and prevent them from moving through your site, which can negatively impact your conversion rates in a big way.

Within your navigation, there are several different items you can test. But one element that can make a huge difference is the copy you use in your menus. Your visitors should know exactly what to expect when they click a link.

If they don’t, they could be confused when they land on a page that isn’t what they were expecting. And even worse, they may never find the correct page for their needs, simply because the menu copy didn’t include what they were looking for.

For example, online form builder Formstack used to have an item titled “Why Use Us” in their main navigation. Then, they created a variation that linked to the same page, but with the copy “How it Works.”

This seems like a relatively inconsequential change, right?

Incorrecto.

Changing these three small words increased page traffic by 50 percent and led to 8 percent more free trial signups.

Adopting the same language that your audience uses can go a long way in helping them find the content that they want.

You can also try adjusting your navigation to reflect the way that people look for information.

For example, Bizztravel Wintersport specializes in skiing holiday packages in the Alps. After digging into their Google Analytics data, they found that visitors most often use the site search feature to look for ski village names.

They also found that only 23 percent of their visitors arrived on their homepage, and the rest were pushed to navigate by country, then by region, then by village. This meant that it was taking an average of five clicks before someone arrived at the ski village they were looking for.

It was clear that the navigation system did not reflect the way visitors preferred to find information for planning a vacation. Their original navigation and region page looked like this:

As a result, they achieved a 21.34 percent increase in goal completions with a test result confidence level of 97 percent.

The new navigation helped visitors find exactly what they were looking for, because it was designed with their browsing habits in mind.

So if you’re looking for an impactful way to improve your site’s performance, your navigation could be a great place to focus your efforts.

And to take things a step further, you can also consider the actions a visitor takes beyond their initial menu selection. In fact, you can use A/B testing to improve your entire user flow.

For example, a basic user flow typically looks like this:

This is called a stacked user flow, and is particularly important for companies selling high-value products.

After all, you can’t expect a visitor to spend thousands of dollars during their first interaction with your brand — so a simple, three-step process resulting in a sale is unrealistic.

Pero es нет unrealistic to expect a first-time visitor to sign up for your email list. And after receiving several relevant emails, that visitor will be more likely to trust your company enough to make a purchase.

Of course, these are only two examples of possible user flows. Your company’s ideal flow depends on your industry, business model, and audience.

So in order to design an effective model, you need to know what problems your visitors want to solve, what they need in order to solve those problems, which features of your products are most important to them, and what their doubts and hesitations are about purchasing.

Then, you can design your flow to answer all of their questions and highlight the ways that your company can help them reach their goals. But after you’re satisfied with what you’ve created, it’s still mostly hypothetical.

Just because you want your visitors to follow a specific path to conversion doesn’t mean they will.

Fortunately, once you’ve created your ideal path, you can use A/B tests to drive your visitors to follow it.

The method you use to do this is the same as what you’d do to run any other A/B test on your site. But instead of focusing on driving high-level conversions, you’ll look for ways to guide visitors to the next step in your user flow.

So, for example, part of your ideal flow might involve moving visitors from a landing page to a specific product page. To make this happen, you could run an A/B test on that landing page with the goal of increasing clicks on a link to that product.Then, you could create similar tests for the other important pages in your user flow.

Many of the goals you optimize for in these tests may seem insignificant. For example, increasing clicks to a specific informational page won’t show the immediate revenue increase that increasing clicks on a conversion button can.

But these small changes can help you move visitors through your site in a way that helps them evolve from first-time visitors to qualified leads to valuable customers.

And if you’re looking to attract long-term clients for your business, this might be even better than an immediate increase in conversions.

3. Utilize secondary objectives

Though your primary objective may be the reason you’re running the A/B test in the first place, setting secondary objectives will help you gain even more actionable insight.

secondary objectives

For example, if you run an ecommerce site, your primary goal with a test might be to get visitors to add a specific product to their cart. In order to achieve that, you could alter the location of different buttons and calls to action on the page.

And although you’ll focus on the changes in conversion rate for that primary goal, it’s unlikely that this will be the only metric that’s affected by your changes.

Take advantage of your ability to add multiple secondary objectives in Google Optimize to keep track of these additional impacts. If you already have other custom goals set up, this is your best option.

You can use this feature to monitor smaller conversions like loyalty program signups or product feature views.

If you don’t yet have many conversion goals set up for your site, you can also use the default objectives like bounce rate and pageviews. There’s no reason not to collect this data when you have the ability to — and looking over it can help you get a more well-rounded understanding of the impact each change makes.

4.Test Before Launching a Redesign

There are many reasons you might decide to completely redesign your site.

Maybe your company is rebranding. Maybe usability issues are impacting how visitors engage with your content. Or maybe it’s simply been a few years since you first launched your site, and your design now feels dated.

These are all valid reasons.

Unfortunately, no matter how solid your reasoning, launching a redesign can wreak havoc on your conversion rates.

As an extreme example, take a look at what happened to Digg after launching a redesigned site. Although this is an old case study, it’s still useful as a cautionary tale.

digg redesign ab testing

As one of the original social bookmarking sites, Digg was an extremely popular site for sharing and discussing online content.

But as social media sites like Facebook и Twitter gained in popularity, Digg decided to launch a redesign with a focus on social networking. This redesign was designed to highlight content shared by a follower’s friends, instead of content that received the most upvotes from strangers.

It’s fairly safe to assume that Digg did not test this new design with their followers — because in the month following the launch of their redesign, traffic fell 26 percent.

To be fair, this was a more drastic change than you might be planning to make with your site.

Still, even making minor changes to elements like your navigation can have a major impact.

People who visit your site often are used to your current setup. They know exactly what to click in your navigation, where to scroll on a page to find the information they need, and how to perform key conversions.

No matter how great your new design, changing things up will throw these returning visitors off.

But if you focus on usability from the start, and test your variations before choosing a final design, you can select the version that’s most intuitive and user-friendly.

5. Link Your Optimize Account with AdWords

One of the biggest advantages of running A/B tests with a Google-owned tool is how easy it is to integrate data from other Google properties.

If you run PPC campaigns with AdWords, you can link your accounts to improve your targeting and run tests tailored to specific campaigns.

Though this can help you run more effective tests in a variety of ways, its most valuable use is for improving landing pages. Each time a visitor clicks one of your PPC ads, you spend part of your advertising budget to bring them to your site.

That means you need the landing page they arrive on to be as effective as possible at driving conversions.

The easiest way to see how effective your landing pages currently are is with the “Landing Pages” page in AdWords. This report shows performance metrics like clicks and conversions for each landing page, as well as whether each one is mobile-friendly.

Use this report to identify which landing pages on your site are generating the conversion rates you want — and which aren’t.

This alone might help you uncover potential changes. For example, if your landing pages with images outperform those without across the board, that could be an easy fix.

But in most cases, it’s not that simple.

People who arrive on your site from PPC campaigns are typically looking for specific information, and a page that’s designed to meet their needs.

But if you’ve ever attempted to create campaign-specific landing pages, you know that figuring out exactly what people want is challenging.

That’s where the AdWords-Optimize integration is extremely helpful. You can create landing page variations, then test them based on keywords, ad groups, and campaigns.

For example, let’s say you run a hotel and you want to generate more conversions from your ad set targeting the keyword “family-friendly hotels.”

You can use Google Optimize to create a variation of your landing page that replaces your standard hotel photo with a photo of a family at your hotel’s pool. Then, you can test that variation against your original page with visitors who arrive on your site from that campaign.

optimize adwords ab testing

If this variation generates more conversions, you could implement it permanently as the landing page for that campaign. Then, you can continue testing variations of that page with new copy and forms to find out exactly what appeals to that subset of your audience.

6. Test Both Micro and Macro Conversions

Not every page on your site is designed to generate sales. And even on the pages that are, not all of your visitors will be ready to convert during their first visit.

So if you’re only focusing on those major conversions, it may look like your tests are failing. Fortunately, that may not be the case, and you can get a more nuanced view of your visitors’ behavior by including both micro and macro conversions in your tests.

If you’re unfamiliar with the terms, macro conversions are the most important actions a visitor can take on your site. If you run an ecommerce store, for example, that would be making a purchase. If you run a non-profit, it would be making a donation.

But before most of your visitors are ready to take those larger actions, they’ll take a series of smaller steps, like reading reviews, expanding product details, and adding items to their carts.

These are all micro conversions.

When set up correctly, the micro conversions a visitor can make on your site should get them closer to performing a macro conversion.

For example, a visitor isn’t going to purchase a high-value product without a full understanding of its features and confidence in its quality.

Amazon does a great job of presenting all of this information in a straightforward, user-friendly way.

bose amazon 1

When someone lands on a product page, they aren’t forced to buy the product immediately. They can if they want to — but they can also read reviews, watch videos, browse answers to common questions, and learn about special sales and promotions.

Each of these actions will get them closer to being ready to buy the product — or at least they should.

If you’re unsure whether your micro conversions are effective in driving visitors to make macro conversions, A/B tests can be a great way to get a concrete answer.

Test variants with different versions of a micro conversion’s calls to action and buttons and set that micro conversion as the primary objective. Then, set the macro conversions on your site as secondary objectives.

If you see a strong correlation, this is a good sign that your sales funnel is working as it should.

If you don’t, this is a sign that you may need to re-think your micro conversions.

ecommerce homepage analysis

Work backward from your main conversion goals, and figure out what people need to do before they take those steps. Then, look for ways to encourage those smaller actions.

Create variants, launch tests, and see which elements are most effective at generating the micro conversions that drive macro conversions for your business.

In many cases, these will be small changes — but they can add up quickly and have a positive impact in driving the results you want.

7. Consider How Many Conversion Goals You Should Have

In the previous tip, I mentioned the importance of having several micro conversion goals throughout your site.

I stand by that.

But it’s also important to make sure you don’t have too many conversion goals vying for visitors’ attention.

The more calls to action you have on a page, the more options each visitor has to weigh. And in many cases, too many choices can lead to the visitor making no choice at all.

You can eliminate that indecision by consolidating similar conversions. For example, when Whirlpool wanted to increase click-throughs from its email campaigns, they consolidated four CTAs into one.

As a result, they improved their click-through rate by 42 percent.

Along those same lines, retailer nameOn wanted to redesign their checkout page to reduce cart abandonment.

Their original page featured several unnecessary details like an email opt-in form and buttons linking to product pages.

As a result, they increased their amount of completed checkouts by 11.4%.

In this case, less was definitely more — and that’s a principle that holds true across many aspects of conversion rate optimization.

In another example, SEO company TheHOTH wanted to maximize conversions on their homepage.

The original version featured a video, a signup form, customer logos, client testimonials, and everything else you’d expect from a reputable agency.

hoth original ab testing

And while they were earning a steady flow of traffic, not much of that traffic was translating to conversions or sales. So they decided to create an extremely minimal variant with nothing but the signup form.

variation page ab testing

This extremely basic design drove their conversion rate from 1.39% to 13.13%. You might need to re-read those numbers — but they’re not a typo.

In this case, eliminating all distractions pushed visitors to take the only action they could.

At Crazy Egg, we’ve run A/B tests on our homepage for more than ten years to make sure we’re encouraging the maximum amount of free trial signups. We’ve consistently found that cutting down the copy to hone in on just one CTA has performed the best in terms of conversion rates.

crazy egg homepage

As you can see, our homepage has no header and you can only see additional information about our website optimization tools if you click the small “Not ready to get started?” link under the Show Me My Heatmap button.

So if you’re looking for a way to increase conversions on a high-value page, achieving your target conversion rate could be as simple as eliminating the other elements on that page.

8. Use Customer Insight to Design Your Tests

A/B testing can help you uncover which variations of a page get the best responses from your target audience. But creating those variations in the first place shouldn’t involve guesswork.

This recent website teardown webinar that we co-hosted with CRO agency The Good illustrates why.

Sure, you might base simple choices like button colors on aesthetic preferences — but beyond that, you should aim to create your variants based on what your customers actually want.

For example, when Groove wanted to boost conversions on a landing page, they started with an extensive customer survey. They talked with their existing customers to get a better idea of the language they used when describing Groove’s services.

Then, they set up an autoresponder email to new customers asking them why they decided to sign up.

When they designed the new landing page, they incorporated their findings into the copy. So instead of explaining their product from the company’s standpoint, they used language that illustrated its value according to actual customers.

groove landing page ab testing

They no longer described their service as “SaaS and eCommerce Customer Support,” but as “Everything you need to deliver awesome, personal support to every customer.”

As a result, their conversion rate increased from 2.3 percent to 4.3 percent.

It’s important to remember that your customers’ priorities may be slightly different from your own. So even if you offer exactly what they need, it might not come across in your copy.

Spend some time talking to your customers and figuring out what really matters to them, then feature that information prominently on your conversion-focused pages.

Beyond copy, you can also take user experience into account by looking into your visitors’ on-site behavior.

For example, when Nurse.com wanted to improve their conversion rate on a landing page about continuing education, they ran a heatmap test to see where people were clicking.

pasted image 0 38

Their main conversion buttons were receiving a decent chunk of the clicks.

Unfortunately, less-important links were getting more clicks, and some visitors were clicking on non-clickable elements, as well.

This showed that the page wasn’t as effective as it could be at driving visitors to make that main conversion.

To address this issue, they created a variation that eliminated the distracting links, consolidated the two main conversions into one button, and moving the most important information to a page that was already getting a lot of attention.

As a result, visitors were directed straight to the most important conversion — and the variant generated 15.7 percent more sales.

ab testing example

If you want to improve a specific page on your site but aren’t sure where to start, heatmaps are an effective way to identify what’s preventing visitors from converting.

When you use this information to shape your variants, you can be more confident from the start that you’ll see noticeable increases in your conversion rate.

You can also use these kinds of tests to identify areas where your visitors are getting stuck.

Some of your visitors might be unsure of whether they want to buy from you. These visitors will need to spend some time browsing your informational pages and learning more about your company.

They might sign up for your email list, return to your site a few times to check out your blog, and engage with you on a social media platform before making a decision.

Other visitors will be ready to purchase almost immediately — and you need to make sure that they can.

To you, your site’s calls to action might be obvious. You know exactly where you’d need to click to make a purchase, and you assume that this is clear for everyone.

But after spending enough time on a site, it’s easy to become unaware of usability issues that could be preventing visitors who aren’t familiar with it from taking action.

These issues could include unclear calls to action, broken links, and even non-clickable elements that your visitors think will take them to a conversion page.

Essentially, you should treat anything that makes the process of converting even slightly more difficult like a usability issue.

And with user analysis tools, you can determine exactly what those issues are.

For example, the Crazy Egg Overlay report shows a breakdown of where all of the clicks on your site are going by element — including clicks on elements that aren’t clickable, like the headshot of Tim Ferriss shown below.

Table of Contents