– Документация тестирования. Каждому тесту должен соответствовать специальный документ – спецификация, в которой перечислены все основные гипотезы, формат теста, сроки проведения, ожидаемые выгоды, расходы, показатель прибыли от капиталовложений и имя сотрудника, ответственного за проведение. Этот детальный документ позволяет стандартизировать все входные параметры, необходимые для создания истории тестирования.
– Воронка тестирования. Воронка тестирования позволяет отслеживать все настоящие и запланированные тесты. В зависимости от количества проводимых вами тестов и сложности вашей организации это может быть и простая электронная таблица с указанием всех запланированных тестов с коротким описанием, указанием сроков и текущего статуса, и сложные платформы, управляющие масштабными рекламными кампаниями.
– Руководства к действию. Недостаточно просто собрать результаты прошлых тестов в едином хранилище идей. Все полученные выводы должны быть сгруппированы в виде руководств к действию, которые затем нужно довести до всей организации. И еще раз отметим, что проведенные и протестированные принципы не требуют повторной или многократной проверки.
– Приоритеты для тестирования. Для каждого нового теста желательно установить приоритет на основании нескольких параметров: 1) истории тестирования; 2) руководств к действию; 3) текущего содержания воронки тестирования; 4) размера потенциального показателя прибыли от капиталовложений. Установление приоритетов позволит вам избежать лишних проверок.
Я знаю всего несколько компаний, в которых проводились бы соответствующие и правильные испытания. Обычно справедливо обратное. Творческие решения большинства компаний не выживают под натиском данных – ведь все эти решения основаны на крайне субъективных мнениях специалистов или, хуже того, на том, что эксперт в области веб-аналитики Авинаш Кошик называет HiPPO (акроним от Highest in Payment Person’s Opinion – «мнение лица с самой высокой зарплатой»).
Это означает, что компании склонны терять миллионы долларов. Они не тестируют новые идеи и не способны четко понять, насколько та или иная идея эффективна. Системы управления тестированием предназначены помогать и таким компаниям. Они способны выявить отсутствие нужных данных и зоны, требующие обязательного тестирования. Помимо этого, они помогают сделать тестирование неотъемлемой частью творческого процесса. Из всех аналитических инструментов, способных питать творческую работу, с тестированием не может сравниться ничто другое.
Тестирование в цифровом мире
Мы вкратце продемонстрировали принципы тестирования на примере компании IBM. Однако подход «от анализа к действию» может применяться повсюду, особенно в цифровых каналах, где возможности для тестирования кажутся почти безграничными. Приведу пример. Мы пытались улучшить домашнюю страницу интернет-магазина Kodak при помощи нескольких тестов. Ниже вы увидите первоначальный вариант страницы, который мы хотели оптимизировать. Однако сотрудники Kodak не видели никакой проблемы, а просто хотели знать, можно ли слегка улучшить внешний вид.
Для оценки мы создали шесть различных страниц. Иными словами, испытания класса A и B превратились в испытания A, B, C, D, E, F. Приведенный ниже вариант оказался лучше остальных и привел к 11,3 % роста дохода – всего лишь за счет изменения расположения элементов.
У этого подхода был весомый недостаток. Мы знали, какой из вариантов страницы показал наилучшие результаты, но никак не могли выделить тот отдельный элемент, который отвечал за различие в результатах. Чуть позже я покажу вам несколько методов, помогающих в точности выявить, что вызывает различия. Однако перед этим позвольте мне сказать одну важную вещь.
Тестирование позволяет исключить субъективизм и мнения отдельных людей в процессе принятия решений. Вам может нравиться один дизайн страницы Kodak, а мне – другой, однако лишь тестирование скажет, кто из нас прав. Вместо того чтобы обсуждать различные версии, основываясь на собственном вкусе, опыте или аналогиях, мы можем просто попробовать их все и позволить аналитике нас рассудить и сказать, что работает лучше. Конец дискуссии.
Надеюсь, к этому моменту вы уже поняли всю силу оптимизации, но если вам нужны дополнительные аргументы, я приведу еще один пример. Победа Барака Обамы на президентских выборах 2008 года отчасти была связана с умным применением наших маленьких цифр. Ниже вы можете увидеть две версии домашней страницы сайта Obama.com, запущенного во время избирательной кампании.
Слева приведен первоначальный вариант домашней страницы. Будущий президент посетил штаб-квартиру компании Google в 2007 году, когда в ней еще работал Дэн Сирокер. Дэн был настолько вдохновлен разговором с Обамой, что оставил Google, уехал в Чикаго и там присоединился к его команде. Поначалу у него не было своего угла, поэтому он ночевал на полу в квартире своего друга. Однако это не помешало ему со временем организовать команду аналитиков, работавших с новыми видами медиа для избирательной кампании. В итоге Обама смог собрать 656 миллионов долларов, из которых около 500 миллионов пришло через интернет-каналы, в основном через сайт Obama.com.
Позвольте мне рассказать, как это происходило. Дэн и его команда использовали некоторые из методов, описанных мной в этой главе, для изменения домашней страницы (слева приведен исходный вариант, справа – итоговый). В сущности, произошло всего два изменения. Дэн поменял фотографию и текст на кнопке (было – sign up «Зарегистрируйтесь», стало – learn more «Узнайте больше»). Как показано в приведенной ниже таблице, эти простые коррективы полностью изменили ситуацию.
Страница справа оказалась лучше изначальной на 40 %. Это привело к привлечению 288 тысяч добровольных помощников и к 57 миллионам долларов дополнительного финансирования (примерно на 25 % выше суммы, собранной противником Обамы Джоном Маккейном).
Дэн Сирокер не ограничился ни тестированием класса A и B, ни даже A, B, C, D, E, F. Он использовал многовариантное тестирование, ставшее куда более мощным инструментом именно в цифровую эпоху, позволяющую автоматизировать массу аналитических процессов. Впервые я познакомился с многовариантным тестированием в 2002 году.
К тому времени в Ogilvy я руководил деятельностью международной аналитической группы, и часть моей работы состояла в организации ежегодных конференций, на которых аналитики со всего мира обсуждали лучшие примеры и размышляли над тем, в какую сторону будет развиваться их практическая деятельность. Во время моей работы в Лондоне доллар был довольно слаб, и мы решили провести конференцию в Майами. Мне никогда прежде не доводилось бывать в этом городе, и я не ждал от него ничего особенного. Репутация Флориды у жителей Европы довольно невысока, однако я был приятно удивлен. Город наполнен приятной эмоциональной вибрацией, а в центре можно увидеть целый ряд потрясающих зданий в стиле ар-деко. Я вел конференцию вместе с Найджелом Хоулеттом, настоящим ветераном мира прямого маркетинга и работы с базами данных. Найджел – настоящий британский джентльмен и феноменальный пловец (о чем я узнал на собственном печальном опыте). Он умудрился выиграть у меня 50 долларов, поспорив, что сможет двадцать пять раз проплыть стометровку в знаменитом бассейне отеля «Националь» (пари было заключено после нескольких коктейлей в баре). Я до сих пор отлично помню, как он залез в бассейн, а затем начал проплывать одну стометровку за другой. Мне показалось, что за этим занятием он провел пару часов!
Помимо умения заключать заведомо выигрышные пари Найджел отлично чует, какие компании или новые технологии будут особенно интересны в будущем. Он пригласил на конференцию австралийскую компанию Memetrics, и та продемонстрировала технологию своего автоматизированного многовариантного теста. Особенно сильно нас поразил пример работы на eBay.
Сотрудники eBay попросили Memetrics оптимизировать свой сайт с помощью перспективной технологии. Ниже вы увидите пример страницы.
На первом этапе работы Memetrics выявила шесть контентных зон, которые требовали тестирования.
Второй этап заключался в развитии различных версий для каждого блока контента. Memetrics создала по четыре варианта для таких блоков, как список категорий, верхнее, левое и правое поля с контентом.
Если попытаться совместить все варианты, то вы получите 4096 возможных комбинаций (то есть 4096 немного различающихся между собой веб-страниц). Memetrics разработала технологию, которая позволяла демонстрировать пользователям в ходе тестирования все варианты страницы, а затем оценивать, какой именно из них показал наилучшие результаты.
После пары недель компания смогла выбрать выигрышную комбинацию и измерить ее показатели. Ниже вы можете увидеть изначальный и оптимизированный варианты страницы. Самая выигрышная комбинация позволила увеличить в десятки раз долю конверсии, то есть количество посетителей, заходивших на сайт и что-то там купивших (а не просто блуждавших по нему). Доля конверсии рассчитывалась как частное от деления количества покупателей на общее количество посетителей (то есть и тех, кто ничего не купил).
