Как провести сплит тест

Обновлено: 18.09.2024

Из этой статьи вы узнаете как многократно сократить время А/Б теста. Кроме скорости у новой методики тестирования есть и другие преимущества.

Трудно представить интернет-маркетинг без проведения А/Б тестов. Одна из основных проблем А/Б тестирования — когда остановить тест. Если мы остановим тест слишком рано, то мы можем выбрать вариант, которому просто повезло. Если остановить тест слишком поздно, то мы потратим слишком много времени, которое мы могли бы использовать на проведение других тестов.

Сейчас остановка теста происходит при достижении определенной статистической достоверности. Для оценки достоверности, обычно, используется одна из следующих метрик:

Доверительные интервалы
p-value
Шанс побить

Вероятность и показатель конверсии это две больших разницы. Если у нас был 1 клик и 0 конверсий, то показатель конверсии нулевой. Но это не значит, что и вероятность тоже нулевая и никто никогда не сконвертируется.

С ростом числа кликов показатель конверсии стремится к вероятности. И при бесконечном числе кликов вероятность и показатель будут равны. Но на практике у нас нет бесконечного времени на проведение теста.

Далее вместо “вероятность конверсии” мы будем говорить просто “конверсия”.

Проблемы

Старые метрики (доверительные интервалы, p-value и шанс побить) были придуманы для ученых, для которых важно удовлетворить научное любопытство или доказать, что какой из вариантов лучше.

Однако, эти метрики плохо подходят для интернет-маркетинга, в котором у нас совсем другая задача — повысить конверсию.

Также эти метрики могут “зависать”. Если варианты в тесте почти не отличаются друг от друга, то тест идет очень долго. Если варианты вообще не отличаются друг от друга (А/A тест), то тестирование будет идти бесконечно долго.

Все это приводит к целому ряду проблем:

Тесты идут очень долго. Особенно те, которые не приносят заметной пользы. Это время мы можем потратить на более значимые тесты.
Непонятно сколько тест продлиться. Это рождает массу проблем при планировании работ.
Значительная часть тестов останавливается до достижения запланированной статистической значимости. Это нарушает объективность тестирования.

Возьмем типовой сайт с 1000 посетителей в сутки и конверсией в 1%. Допустим, мы придумали способ увеличить конверсию до 1.1%. Сколько времени займет А/Б тест?

Ответ: пару лет! Не верите мне? Наберите в Google “A/B test duration calculator” все калькуляторы вам выдадут для 80% достоверности 317 дней, а для 95% — 515!

В общем, А/B тесты сейчас — иструмент для очень больших сайтов. Можно ли снизить требования к числу посетителей и ускорить тестирование?

Цена спешки

Первопричина всех этих проблем в том, что все метрики оценивают вероятность того, что один вариант лучше другого. Однако, тесты мы проводим не из праздного любопытства, а для улучшения конверсии.

Нужно перестать оценивать статистические метрики (значимость, вероятность) и вернуться к первоначальной цели — улучшению конверсии.

В идеале, мы проводим бесконечно долго и выбираем лучший вариант. Но на практике наше время ограничено и рано или поздно мы останавливаем тест. Это приводит к том, что у нас есть вероятность того, что мы ошибемся.

Старые метрики основаны на вероятности этой ошибки. Однако ошибки бывают разными, если в одном варианте конверсия равна 1%, а во втором — 1.00001%, то ошибка никак на нас не повлияет.

Цена спешки это ожидаемая разница в конверсии между идеальным бесконечным тестом и выбором варианта, у которого сейчас лучший показатель конверсии. Цена спешки показывает сколько в среднем конверсии “скрывается” в тесте.

Допустим у нас есть 2 варианта. Их конверсиии a и b. Мы не знаем a и b, но можем судить о этих числах с некоторой точностью, по показателю конверсии. Если мы выбирем вариант a и a>b, то мы ничего не потеряем. В противном случае мы потерям z=b-a конверсии. Нужно вероятность ошибки умножить на потери при ней и мы получим оценку потерь:

Цена спешки у А = M[z>0] * P[z>0]

z=a-b
M[z>0] матожидание z для всех z>0. Грубо говоря средний z, если не считать отрицательные значения
P[z>0] вероятность того, что z>0. Другими словами, шанс варианта Б побить вариант А.

Для сравнения шанс побить у А = P[z 0]. Легко видеть что цена спешки учитывает не только вероятность ошибки, но и размер потерь, которые приносит ошибка.

Пример

Допустим, мы откуда-то узнали, что с вероятность 50% у варианта А конверсия равна 1%, а и с вероятностью 50% = 1.1%. У варианта Б равновероятны конверсии 0.9% и 2%.

У нас получается равновероятны 4 случая (комбинации):

Случай	Вариант А	Вариант Б
1	1%	0.9%
2	1%	2%
3	1.1%	0.9%
4	1.1%	2%

Шанс побить 50 на 50. Вариант А лучше в 2 комбинациях (1 и 3), вариант Б в комбинациях 2 и 4.

Предположим, что нам предложили за 1500$ сказать точно какой из вариантов лучше. Чтобы понять стоит ли сделка, нужно понять какой ущерб наносит нам недостаток информации.

Посчитаем цену спешки. Если мы выберем вариант А, то в первом случае мы ничего не потерям (поскольку в этом случае вариант А лучше Б). Во втором — мы потеряем 1% (2%-1%) конверсии….

Маркетологи создают целевые страницы, пишут копии по электронной почте или разрабатывают кнопки призыва к действию. Может возникнуть соблазн использовать интуицию, чтобы предсказать, что заставит людей нажимать и конвертировать.

A/B тесты также могут быть сложными. Если вы не будете осторожны, вы можете сделать неверные предположения о том, что нравится людям и что заставляет их щелкать. Решения, которые могут легко дезинформировать другие части вашей стратегии.

Продолжайте читать, чтобы узнать, как проводить A/B тестирование до, во время и после сбора данных, чтобы вы могли принимать наилучшие решения на основе ваших результатов.

Для запуска A/B теста вам нужно создать две разные версии одного фрагмента контента с изменениями в одной переменной . Затем вы покажете эти две версии двум аудиториям одинакового размера. Далее проанализируете, какая из них работала лучше в течение определенного периода времени, достаточно долго, чтобы делать точные выводы о ваших результатах.

A/B тестирование помогает маркетологам наблюдать, как одна версия маркетингового контента работает вместе с другой. Вот два типа A/B тестов, которые вы можете провести, чтобы повысить коэффициент конверсии вашего сайта.

Содержание | Быстрая навигация

Пример 1: Тест пользовательского опыта.

Возможно, вы захотите узнать, улучшит ли переход по определенной кнопке призыва к действию (CTA) вверху вашей домашней страницы вместо удержания ее на боковой панели показатель кликов.

Пример 2: тестирование дизайна.

Чтобы протестировать эту теорию, вы должны разработать альтернативную кнопку CTA с другим цветом кнопки, которая приведет к той же целевой странице, что и элемент управления. Если вы обычно используете красную кнопку с призывом к действию в своем маркетинговом контенте, и зеленый вариант получает больше кликов после A/B теста, это может быть целесообразным. Изменив теперь цвет по умолчанию ваших кнопок призыва к действию на зеленый, вы увеличите количество кликов по ней.

Преимущества A/B тестирования.

Такой анализ имеет множество преимуществ для маркетинговой команды, в зависимости от того, что именно вы решите протестировать. Прежде всего, однако, эти тесты ценны для бизнеса, потому что они дешевы, но высоко ценятся.

Допустим, вы нанимаете создателя контента с зарплатой 50 000 долларов в год. Он публикует пять статей в неделю для блога компании, всего 260 статей в год. Если в среднем пост в блоге компании генерирует 10 потенциальных клиентов, можно сказать, что создание 10 потенциальных клиентов для бизнеса стоит чуть более 192 долларов. Зарплата в 50 000 долларов ÷ 260 статей = 192 доллара на статью. Это солидный кусок изменений.

Теперь, если вы попросите этого создателя контента потратить два дня на разработку A/B теста для одной статьи вместо того, чтобы писать две статьи за этот период времени, вы можете сэкономить 192 доллара, потому что вы публикуете на одну статью меньше.

Но если этот A/B тест обнаружит, что вы можете увеличить коэффициент конверсии каждой статьи с 10 до 20 потенциальных клиентов, вы просто потратили 192 доллара, чтобы потенциально удвоить количество клиентов, которых ваш бизнес получает из вашего блога.

Если тест не пройден, вы, конечно, потеряли 192 доллара, но теперь вы можете сделать следующий тест A/B еще более полезным. Если этот второй тест удвоит коэффициент конверсии вашего блога, вы в конечном итоге потратили $ 284, чтобы потенциально удвоить доход вашей компании. Независимо от того, сколько раз ваш A/B тест не пройден, его конечный успех почти всегда перевесит затраты на его проведение.

Полный комплект A/B тестирования для маркетологов.

Есть много типов сплит-тестов, которые вы можете запустить, чтобы в итоге эксперимент оправдал себя. Вот несколько общих целей, которые маркетологи ставят перед своим бизнесом при A/B тестировании:

Теперь давайте пройдемся по контрольному списку для настройки, запуска и измерения A/B теста.

Как проводить A/B тестирование.

Давайте рассмотрим шаги, которые нужно предпринять, прежде чем вы начнете A/B тест.

1. Выберите одну переменную для проверки.

Вы можете проверить более одной переменной для одной веб-страницы или электронной почты; просто убедитесь, что вы тестируете их одинаково.

Посмотрите на различные элементы в ваших маркетинговых ресурсах и их возможные альтернативы для дизайна, формулировки и макета. Другие вещи, которые вы можете проверить, включают в себя темы письма, имена отправителей и различные способы персонализации ваших писем.

Имейте в виду, что даже простые изменения, такие как изменение изображения в вашей электронной почте или слов на кнопке призыва к действию, могут привести к значительным улучшениям.

Примечание. В некоторых случаях более целесообразно тестировать несколько переменных, а не одну. Этот процесс называется многомерным тестированием.

2. Определите вашу цель.

Подумайте, где вы хотите, чтобы эта переменная была в конце сплит-теста. Вы можете сформулировать официальную гипотезу и проверить свои результаты на основе этого прогноза.

Если вы подождете до тех пор, пока не подумаете о том, какие показатели важны для вас, каковы ваши цели и как предлагаемые изменения могут повлиять на поведение пользователя. Вы не сможете настроить тест наиболее эффективным способом.

4. Разделите группы образцов на равные и случайные.

Для тестов, где у вас есть больший контроль над аудиторией, как с электронными письмами, вам нужно тестировать с двумя или более равными аудиториями. Так удастся получить окончательные результаты.

5. Определите размер вашей выборки, если это применимо.

То, как вы определяете размер выборки, также зависит от вашего инструмента A/B тестирования, а также от типа вашего A/B теста.

Если вы являетесь клиентом HubSpot Enterprise, вам пригодится помощь в определении размера группы образцов с помощью ползунка. Это позволит вам выполнить 50/50 A/B тест любого размера выборки. Хотя для всех остальных разделений выборки требуется список не менее 1000 получателей.

Если вы тестируете что-то, что не имеет ограниченной аудитории, например, веб-страницу, то длительность выполнения теста напрямую повлияет на размер выборки.

6. Решите, насколько значительными должны быть ваши результаты.

После того, как вы выбрали целевой показатель, подумайте о том, насколько значительными должны быть ваши результаты, чтобы оправдать выбор одного варианта из другого. Статистическая значимость является очень важной частью процесса A/B тестирования, которая часто неправильно понимается.

Чем выше процент уровня достоверности, тем больше вы можете быть уверены в своих результатах. В большинстве случаев вам нужен минимальный уровень достоверности 95%, предпочтительно даже 98%. Особенно если это был эксперимент, требующий много времени. Однако иногда имеет смысл использовать более низкий уровень достоверности, если вам не нужно, чтобы тест был настолько строгим.

7. Убедитесь, что вы проводите только один тест за раз в любой кампании.

Тестирование более чем одной вещи для одной кампании — даже если она не относится к одному и тому же активу — может осложнить ваши результаты. Например, если вы проводите A/B тестирование кампании электронной почты, которая направляется на целевую страницу одновременно с A/B тестированием этой целевой страницы. Как узнать, какое изменение вызвало увеличение количества потенциальных клиентов?

На что обращать внимание во время A/B теста.

Давайте рассмотрим шаги, которые нужно предпринять во время вашего A/B теста.

1. Используйте инструмент A/B тестирования.

Чтобы провести A/B тестирование на своем веб-сайте или в электронном письме, вам необходимо использовать инструмент A/B тестирования.

Для клиентов, не являющихся пользователями HubSpot Enterprise, другие варианты включают эксперименты Google Analytics , которые позволяют вам протестировать до 10 полных версий одной веб-страницы и сравнивать их производительность с использованием случайной выборки пользователей.

2. Проверьте оба варианта одновременно.

Время играет важную роль в результатах вашей маркетинговой кампании, будь то время суток, день недели или месяц года.

Если бы вы запускали версию A в течение одного месяца, а версию B — через месяц, как бы вы узнали, было ли изменение производительности вызвано другим дизайном или другим месяцем?

Когда вы запускаете A/B тесты, вам нужно запускать два варианта одновременно, в противном случае вы можете остаться без ответа.

Единственное исключение здесь, если вы сами тестируете время, например, находите оптимальное время для отправки электронных писем. Это отличная вещь для тестирования. В зависимости от того, что предлагает ваш бизнес и кто ваши подписчики, оптимальное время для взаимодействия с подписчиком может значительно различаться в зависимости от отрасли и целевого рынка.

3. Дайте A/B тесту достаточно времени для получения полезных данных.

Опять же, вам нужно убедиться, что вы позволили вашему тесту пройти достаточно долго, чтобы получить значительный размер выборки. В противном случае, будет трудно сказать, была ли статистически значимая разница между этими двумя вариантами.

Большая часть того, сколько времени нужно для получения статистически значимых результатов, зависит от того, сколько трафика вы получаете. Если ваш бизнес не получает много трафика на ваш сайт, вам потребуется гораздо больше времени для запуска A/B теста.

4. Попросите отзывы реальных пользователей.

A/B тестирование во многом связано с количественными данными. Но это не обязательно поможет вам понять, почему люди совершают определенные действия, а другие нет. Во время выполнения A/B теста, почему бы не собрать качественные отзывы реальных пользователей?

Один из лучших способов узнать мнение людей – опрос. Вы можете добавить форму на вашем сайте, которая спрашивает посетителей, почему они не нажимают на определенный CTA, или опрос на ваших страницах благодарности, который спрашивает посетителей, почему они нажали кнопку или заполнили форму.

Например, вы можете обнаружить, что многие люди нажимали на призыв к действию, ведя их к электронной книге, но как только они увидели цену, они не обратились. Такая информация поможет вам понять, почему ваши пользователи ведут себя определенным образом.

После A/B теста.

Наконец, давайте рассмотрим шаги, которые необходимо предпринять после вашего A/B теста.

1. Сконцентрируйтесь на метрике цели.

Несмотря на то, что вы будете измерять несколько показателей, сосредоточьтесь на этом показателе основной цели, когда будете анализировать.

Например, если вы протестировали два варианта электронного письма и в качестве основного показателя выбрали потенциальных клиентов, не увлекайтесь открытым рейтингом или рейтингом кликов. Вы можете увидеть высокий рейтинг кликов и низкий коэффициент конверсии, и в этом случае вы можете выбрать вариант с более низким рейтингом кликов.

2. Измерьте значимость ваших результатов, используя наш A/B тестовый калькулятор.

Теперь, когда вы определили, какой вариант работает лучше всего, пришло время определить, являются ли ваши результаты статистически значимыми. Другими словами, достаточно ли они, чтобы оправдать изменение?

Чтобы выяснить это, вам необходимо провести тест статистической значимости. Вы можете сделать это вручную или с помощью сервисов.

Если вы будете пользоваться калькулятором, то процесс будет следующим. Для каждого протестированного варианта вам будет предложено ввести общее количество попыток, например, отправленных писем или просмотренных показов. Затем введите количество достигнутых целей — обычно вы будете смотреть на клики, но это могут быть и другие типы конверсий.

Калькулятор выдаст уровень достоверности ваших данных для выигрышного варианта. Затем сравните это число со значением, которое вы выбрали для определения статистической значимости.

3. Действуй, основываясь на своих результатах.

Если один вариант статистически лучше другого, у вас есть победитель. Завершите свой тест, отключив проигрышный вариант в своем инструменте A/B тестирования.

Если ни один из вариантов не является статистически лучшим, вы только что узнали, что проверенная переменная не повлияла на результаты, и вам придется пометить тест как неокончательный. В этом случае придерживайтесь оригинального варианта или запустите другой тест. Вы можете использовать ошибочные данные, чтобы помочь вам определить новую итерацию в вашем новом тесте.

В то время как A/B тесты помогают вам влиять на результаты в каждом конкретном случае, вы также можете применять уроки, которые вы извлекаете из каждого теста, и применять их в будущих усилиях.

Например, если вы провели A/B тестирование в своем почтовом маркетинге и неоднократно обнаруживали, что использование чисел в строках темы электронной почты приводит к повышению рейтинга кликов, возможно, вы захотите использовать эту тактику в большинстве своих электронных писем.

4. Запланируйте следующий А/Б тест.

A/B тест, который вы только что закончили, возможно, помог вам найти новый способ сделать ваш маркетинговый контент более эффективным. Не останавливайтесь на этом. Всегда есть место для большей оптимизации.

Вы даже можете попробовать провести A/B тест на другой функции той же веб-страницы или электронной почты, на которой вы только что провели тест.

Например, если вы только что протестировали заголовок на целевой странице, почему бы не сделать новый тест для основного текста? Или цветовой схемы? Или изображения? Всегда следите за возможностями повышения конверсии и потенциальных клиентов.

A/B тестирование позволяет понять, какой контент и маркетинг хочет видеть ваша аудитория. Начните A/B тестирование сегодня!

✔️ Когда А/Б тестирование – это плохая идея?

Если нет конкретной цели. Тестирование нужно проводить только вместе с экспертом.

✔️ Что такое нулевая гипотеза в АБ тестировании?

Это гипотеза о том, что любая разница в результатах является результатом ошибки выборки или стандартного отклонения.

✔️ Сколько посещений страницы мне нужно, чтобы получить хорошие результаты с A/B тестированием?

Прежде чем вы сможете проверить результаты A/B теста, вы должны убедиться, что он достиг статистической значимости. Во многих сервисах есть специальный калькулятор.

✔️ Влияет ли A/B тестирование на SEO?

Да, оно повышает юзабилити и посещаемость. Это часть сео-продвижения.

✔️ Что такое A/B-тестирование веб-приложения?

A/B-тестирование (также известное как сплит-тестирование или групповое тестирование) — это метод сравнения двух версий веб-страницы или приложения, с целью определить, какая из них работает лучше.

✔️ Как протестировать сайт?

6 этапов тестирования веб-сайта.
1. Анализ функциональности.
2: Юзабилити-тестирование.
3: Тестирование интерфейса.
4: Проверка совместимости.
5: Тестирование производительности.
6: Проверка безопасности.

✔️ Что можно проверить с помощью A/B-тестирования?

A/B-тестирование позволяет узнать, какие слова, фразы, изображения, видео, отзывы и другие элементы сайта работают лучше всего. Даже самые простые изменения могут повлиять на коэффициент конверсии.

✔️ Как долго нужно проводить тест А/Б?

Как правило, веб-сайт необходимо тестировать минимум семь дней. Нужно убедиться в том, что вы достигли статистической значимости, а затем тестировать еще семь дней, если нет. Когда дело доходит до данных, больше почти всегда лучше, чем недостаточно.

✔️ Как я могу проверить сайт на наличие ошибок?

Убедитесь, что код HTML или XHTML не содержит ошибок, проверив его с помощью W3C Markup Validation, официального инструмента проверки консорциума World Wide Web. Существуют и другие инструменты, такие как HTML Tidy, инструменты Google для веб-мастеров. Все эти инструменты находят в коде повторяющиеся метатеги, неработающие ссылки, отсутствующие заголовки или другие ошибки.

При запуске рекламной кампании сложно прогнозировать, какие таргетинги, форматы и креативы принесут наиболее высокие результаты. С помощью тестов вы можете проверять гипотезы и сравнивать эффективность настроек рекламы. В обучающей статье мы постарались подробно разобрать А/В-тестирование. Это поможет вам на первых этапах понимать, какой подход работает лучше, и оптимизировать кампании в зависимости от результатов.

Что такое A/B-тестирование?

A/B-тестирование (или сплит-тестирование, от англ. A/B-testing, Split-testing) — это метод эксперимента, который помогает сравнивать различные элементы рекламной кампании (креативы, форматы, таргетинги и др.), чтобы оценить, в каком случае достигается максимальная эффективность. Также оно позволяет выявить параметры кампании, при изменении которых меняется результативность рекламы, и в дальнейшем масштабировать их с учетом этих данных.

В myTarget есть специальный инструмент A/B-тестирования, который помогает рекламодателям сравнить различные параметры рекламы (креативы, модели оплаты, цены и др.) внутри одной целевой аудитории. Методика позволяет демонстрировать объявления непересекающимся аудиториям, поэтому результаты эксперимента окажутся более объективными. Если сравнивать эффективность отдельных настроек рекламы с помощью двух активных кампаний с одним отличающимся признаком (например, объявлением), то кампании будут пересекаться по целевой аудитории и влиять друг на друга.

Пример A/B-теста

Для чего нужен A/B-тест?

понять, какие креативы наиболее эффективны, при одинаковых настройках целевой аудитории и ставках;
сравнить эффективность моделей оплаты – CPC, oCPM, CPM – для решения задач бизнеса;
проверить, изменятся ли результаты кампании, если перевести распределение бюджета с быстрого на равномерный или выбрать другую аукционную стратегию.

Основные шаги при подготовке к А/B-тесту

Установите метрику относительно которой вы будете оценивать эффективность рекламных кампаний при А/B-тестировании. Например, CTR, количество конверсий, процент конверсии в установку, стоимость установки приложения, процент конверсии в событие в мобильном приложении, процент конверсии в целевое действие на сайте, стоимость этих событий или др.;

Выберите параметры, по которым вы бы хотели протестировать показ рекламы: целевая аудитория, текст, креатив, модель оплаты и др. Каждая из кампаний должна тестировать одно изменение, относительно базовой кампании;

Оцените объем целевой аудитории. В прогнозаторе в кампании посмотрите, какой охват может получить рекламная кампания при указанной ставке и бюджете. Если охват

Во всех кампаниях выберите непересекающиеся части аудиторий. В интерфейсе потенциальный охват можно условно разделить на десять частей – по 10% аудитории. По умолчанию в кампании выбирается 100% аудитории.

Оценка результатов

После завершения анализа теста убедитесь, что вы получили достаточное количество данных, а наблюдаемая разница в результатах не является случайностью. Для этого сделайте оценку статистической значимости.

Как оценить статистическую значимость?

Пример

Дано:
Результаты кампании 1:
90 конверсий
2000 показов
Результаты кампании 2:
110 конверсий
2000 показов

Вопрос: Можно ли сказать, что вторая кампания эффективнее, чем первая?

Решение:
1. Рассчитаем CR для двух кампаний.
Кампания 1. CR = 90/2000 = 4,5%.
Кампания 2. CR = 110/2000 = 5,5%.
2. Вычислим доверительный интервал, воспользовавшись калькулятором.
Кампания 1. Истинное значение конверсии будет находиться в интервале 3,7% – 5,5%, уровень доверия 95%.
Кампания 2. Истинное значение в интервале 4,6% – 6,6%, уровень доверия — 95%.
3. Сравним результаты.
Интервалы пересекаются, следовательно, нет значимой разницы в результатах и сделать вывод на этих данных нельзя.

Пользовательское тестирование — это процесс, позволяющий обнаружить, нуждается ли ваша целевая аудитория в данном конкретном решении. Другими словами, таким способом можно выяснить, существует ли потребность в вашем продукте или услуге.
Тестирование юзабилити — это процесс, который определяет, сможет ли ваша целевая аудитория эффективно использовать ваш продукт или услугу. Если нет, программное обеспечение для юзабилити-тестирования может указать, где пользователи столкнулись с трудностями и что вы можете сделать, чтобы улучшить их опыт.

Понимание различий между этими двумя типами тестирования гарантирует, что вы будете использовать надлежащие методы в нужное время, чтобы позволит вам предоставить целевой аудитории наилучший пользовательский опыт.

В этой статье мы рассмотрим 7 отличий User testing от Usability testing.

Содержание статьи

1. Цель

Основная цель пользовательского тестирования — доказать, что люди нуждаются в вашем продукте или сервисе. При проведении юзабилити-тестов цель состоит в том, чтобы выяснить, может ли ваш целевой пользователь беспрепятственно применять ваш продукт или услугу, а если нет, то почему.

2. Что тестировать

Используйте модерируемые или немодерируемые опросы, чтобы протестировать логотипы, названия, персоны покупателя, потенциальное ценообразование вашего продукта или услуги, а также восприятие вашего бренда. Проведите интервьюирование пользователей, чтобы проверить концепцию или идею на предмет релевантности запросам аудитории, либо проведите анализ конкурентов, чтобы выяснить, насколько ваша идея или концепция будет соответствовать таковым у других брендов.

С другой стороны, осуществите тестирование юзабилити, чтобы оценить, смогут ли пользователи без затруднений применять ваш продукт или услугу. Модерируемые и немодерируемые опросы и A / B-тесты также позволяют проверить, может ли контент вашей email-рассылки или призыв к действию конвертировать посетителей в клиентов.

3. Аудитория

Поскольку вы проводите пользовательское тестирование новой концепции или идеи, вы можете не знать, какие люди принадлежат к вашей целевой аудитории. Приурочьте планирование пользовательского теста к тому моменту, когда генеральная совокупность охватит широкий спектр участников с различными демографическими особенностями. Наличие такого диапазона поможет вам определить вашу целевую аудиторию и установить критерии для будущих исследований своего продукта или услуги.

Как только вы поймете, что в вашем продукте или услуге есть потребность, организуйте исследование юзабилити с конкретными участниками, принадлежащими к вашей целевой аудиторией. Эти участники будут обладать демографическими данными и характеристиками, присущими целевым пользователям вашего продукта или услуги. Для подбора участников, соответствующих какой-либо строго определенной аудитории, вы можете также использовать квалификационные вопросы.

4. Методы

Методы пользовательского тестирования

Внедрите в практику такие методы пользовательского тестирования как модерируемые и немодерируемые опросы — это позволит вам получить представление о том, нуждается ли ваша целевая аудитория в одной концепции/идее, либо же их требуется множество. Вы также можете провести A/B-тест, позволяющий сравнить новую концепцию дизайна или прототипа с другим вариантом, чтобы выяснить, к чему сводятся предпочтения вашей аудитории.

С другой стороны, чтобы оценить интерес к новой идее или концепции, вы можете в пробном порядке запустить индивидуальную услугу для нескольких избранных ваших клиентов. Например, компания Rent the Runway сначала протестировала концепцию своего онлайн-сервиса проката одежды, сделав персональные предложения студенткам женского колледжа, и лишь затем выпустила апробированную идею на рынок.

Кроме того, вы можете использовать такие методы пользовательского тестирования как модерируемые и немодерируемые опросы, чтобы проверить цифровые прототипы вашего продукта наподобие эскизов с низкой точностью, а также применять бумажные наброски, наглядно отображающие идеи или концепции, лежащие в основе проектируемого вами UX.

Методы тестирования юзабилити

Освоение таких методов тестирования юзабилити как сортировка карточек и древовидное тестирование обеспечит вам понимание того, могут ли пользователи ориентироваться на вашем веб-сайте или в приложении настолько уверенно, чтобы находить то, что им необходимо. Вы также можете использовать технологию отслеживания движений глаз (eye-tracking — айтрекинг) или тестирование записанной последовательности ссылок, посещенных пользователем (clickstream test — кликстрим-тест), чтобы выявить области экрана, привлекшие наибольшее и наименьшее внимание. Для достижения наилучших результатов объедините айтрекинг или кликстрим-тест с конвенционными методами юзабилити-тестирования, такими как немодерируемые или модерируемые опросов — такая комбинация исследовательских подходов позволит вам глубже понять опыт пользователя.

Вы также можете провести исследование на основе пользовательских дневников, чтобы выяснить, как ваш сайт, приложение или продукт могут оказывать клиенту помощь в течение более продолжительного периода. Пользователи в письменной и графической форме будут документировать, как они использовали ваш продукт или услугу. Если вы хотите улучшить маркетинговый текст — призыв к действию, контент целевой страницы или электронного письма — или дизайн вашего веб-сайта или приложения, то вы можете начать с использования методов тестирования юзабилити, таких как A/B-тесты, чтобы выяснить, какой вариант текста/дизайна работает лучше всего.

Затем проведите немодерируемый или модерируемый опрос, чтобы выяснить, способствует ли призыв к действию или целевая страница достижению клиентом своей цели. Используйте методы немодерируемого и модерируемого тестирования, чтобы оценить первое впечатление, а также провести анализ юзабилити веб-сайтов, приложений или функций, предлагаемых конкурентами.

5. Вопросы

Вопросы для пользовательского тестирования

Тестирование концепции или идеи:

Как вы сейчас решаете [назовите проблему]?
Как часто вы сталкиваетесь с этой проблемой?
Считаете ли вы необходимым найти решение этой проблемы?
Если бы мы решили эту проблему, как бы это улучшило вашу жизнь?
Вы бы заплатили за решение этой проблемы?
Каковы ваши первые мысли по поводу этого решения?
Предлагаемое решение устраняет ваши болевые точки и разочарования?
Что может помешать вам использовать это решение?
Что заставит вас отказаться от этого решения?
Вы можете понять, основываясь на описании, что это за решение и для кого оно предназначено?

Зайдите на домашнюю страницу Google
Теперь найдите тем способом, которым вы обычно это делаете.
Что вы можете увидеть после того, как появятся результаты? Вы этого ожидали?
Способствует ли этот сайт достижению вашей цели?
Каким будет ваш следующий шаг? Выполните это действие прямо сейчас.

Первое впечатление от прототипа или макета:

На первый взгляд, какова цель этого сайта? Выскажите ваше наиболее уверенное предположение по этому поводу.
Как вы думаете, что вы можете сделать на этом сайте?
Достаточно ли информации на этой странице, чтобы понять, для чего нужен тестируемый сайт? Если нет, то что должно быть включено, чтобы было понятно? Выскажите конкретные предложения.
Есть ли что-нибудь, что вы могли бы улучшить на этом сайте?

Вопросы для тестирования юзабилити

Сколько вам лет?
В чем заключается ваша работа?
Вы когда-нибудь использовали [веб-сайт или приложение]?
Каков общий доход вашей семьи?

Вопросы для предварительного этапа:

Как часто вы делаете покупки в интернете?
Испытываете ли вы уверенность, когда просматриваете сайты и совершаете покупки в интернете?
Как вы обычно делаете покупки в интернете?
Вы уже пользовались [продуктом устроителей тестирования] раньше или аналогичной услугой? Если да, то какой?
Что заставило бы вас принять решение покупать у [название конкурирующего бренда], а не у [бренд устроителей тестирования]?

Вопросы для этапа тестирования:

Что вы думаете о [значках, меню, тексте, продукте или услуге]?
Какой из этих двух [проектов/вариантов] вы нравится больше?
Я заметил, что вы делали ______ [когда пытались выполнить задание]. Не могли бы вы сказать мне, почему?
Вы поняли, что есть другой способ [выполнить задачу] ________?
Что вы думаете о процессе оплаты через [веб-сайт/приложение]?
Было ли вам легко ориентироваться [на веб-сайт/в приложении]?

Вопросы для пост-тестового этапа:

Каково было ваше общее впечатление от [веб-сайта или приложения]?
Как бы вы изменили [веб-сайт или приложение]?
Что было самым лучшим/худшим в [веб-сайте или приложении]?

6. Инструменты

Инструменты для пользовательского тестирования

Remesh: облачный сервис, позволяющий проводить опросы в режиме прямого времени и тестировать вашу идею на требуемой целевой аудитории. Как только результаты будут получены, этот инструмент также проанализирует ваши идеальные позволит.

Fake door testing: инструмент, предназначенный для создания макетов веб-сайтов, чтобы проверить, будет продаваться ли ваша идея продукта.

Idea check: программное обеспечение для проверки идеи с участием конкретной целевой группы (также предоставляет пользователю панель мониторинга результатов).

Qualtrics: облачная платформа, помогающая посредством опроса исследовать реакцию потенциального целевого пользователя на идею продукта или услуги.

Инструменты для тестирования юзабилити

Userfeel: многоязычная облачная платформа, позволяющая провести дистанционное тестирование сайта или приложения.

UXCam: SaaS-решение для удаленного тестирования, показывающее посредством тепловых карт, на какие области UI вашего сайта/приложения приходится максимум кликов пользователей, а на какие — минимум.

Test Birds: SaaS-платформа для юзабилити-тестирования, предоставляющая клиентам возможность проводить тестирование качества, применять метод сортировки карточек, а также тестировать чат-боты и виртуальных ассистентов.

CrazyEgg: мощная облачная платформа со множеством инструментов, в числе прочего позволяющая проводить сплит-тесты сайтов, лендингов, приложений.

PlaybookUX: доступный облачный сервис, обеспечивающий проведение модерируемых и немодерируемых опросов как в целях пользовательского тестирования, так и в рамках тестирования юзабилити.

7. Результаты

Тестирование идеи или концепции подразумевает, что ваш бизнес с большой вероятностью избежит неудачного запуска продуктов или услуг. На этапе пользовательского тестирования у вас имеется возможность весьма гибко запрашивать обратную связь, так как вы можете спрашивать клиентов о любом аспекте вашей концепции или идеи. Такой подход не только воспрепятствует выбору вами плохой идеи, но также обеспечит вам возможность рекрутировать первых последователей вашей концепции.

Тестирование юзабилити поможет вам спроектировать наилучший пользовательский опыт, что в свою очередь конвертирует пользователя в постоянного покупателя или преданного клиента. Тестирование также может указать вам на то, что разочаровывает пользователя в вашем приложении, лендинге, сайте. Кроме того, юзабилити-тестирование демонстрирует, сколько времени требуется участникам для выполнения конверсионной задачи. Если в системе имеются какие-либо ошибки, тестирование юзабилити поможет вам их устранить, что сэкономит ваше рабочее время и деньги. Если же процесс требует помощи, вы можете настроить онбординг.

Подведение итогов

Пользовательское тестирование способно помочь любому бренду определить, существует ли потребность в его продукте. Этот метод может подтвердить обоснованность концепции или идеи, поэтому, когда вы решаете запустить разработку и производство продукта, вы уверены, что ваше уникальное маркетинговое предложение может стать успешным. Будучи запущенным однажды, тестирование юзабилити будет постоянно помогать вам в проектировании лучшего пользовательского опыта, что в свою очередь укрепит лояльность клиентов к вашему бренду, и поэтому они продолжат покупать у вас, а не у конкурентов.

Подписывайтесь на нашу группу в фейсбуке и канал в телеграм, чтобы следить за обновлениями.

Читайте также: