Как посчитать ROI оптимизации?

Как посчитать ROI оптимизации?

Представьте, что уже 3, 6 или даже 12 месяцев вы работаете над оптимизацией своего сайта.

Каждый месяц вы добиваетесь больших побед и остаетесь довольны результатами тестов. Это не мнимые улучшения. Но уровень конверсии все еще не изменился по сравнению с тем, с чего вы начали. Как вы объясните это своему начальнику или клиенту?

Другой вариант: вы уже год занимаетесь оптимизацией, и ваш доход с покупателя увеличился на 2%. Вопрос: как на это повлиял ваши действия? Как вы можете с уверенностью утверждать, что именно на это повлияло: оптимизация, SEM, сезонность, сарафанное радио или еще что-то?

Как измерить ROI ваших усилий именно по оптимизации? Этот вопрос несколько сложнее, чем кажется. Давайте посмотрим, что говорят по этому поводу наши иностранные коллеги.

Сложность измерения ROI

На самом деле, спрогнозировать ROI оптимизации достаточно легко. По-настоящему сложно – измерить его после оптимизации. 

 

Вот здесь можно скачать эту таблицу.

Еще в 2012 году в MarketingSherpa поставили вопрос: «Каков был ваш ROI от оптимизации или тестов в 2011 году?»

Вот результаты:

 

Не слишком впечатляюще, правда?! Измерить ROI от оптимизации довольно сложно. И, в любом случае, я с большим сомнением отношусь к данным 38% ответивших, что их ROI вырос. Как они, в конце концов, измерили этот ROI?

Вот что говорит Amelia Showalter, бывший директор по Digital аналитике в кабинете Обамы. Она объясняет, как сложно отследить и измерить все показатели, по крайней мере, в долгой перспективе:

Когда мы работаем над какой-то кампанией, но прикладываем столько усилий, чтобы провести все эти тесты. И не всегда получается точно отследить, какое влияние оказывается в долгосрочной перспективе. Очень сложно рассчитать долгосрочные показатели, ведь мы стараемся направить все доступные силы в дополнительные тестирования. Так что у нас даже не всегда есть точные расчеты по тому, как увеличится доход после тестов, но я думаю, что буду недалека от истины, если назову цифру в 200 млн. долларов.

Статья честно подводит итог сказанному, говоря: «Положа руку на сердце, если вы делаете верные тесты, то, наверняка, улучшите свое общее положение».

И хотя это греет душу, всё ровно не успокоит взволнованного босса или клиента. Мы дошли до точки, когда нужно измерить наше влияние. Как это можно сделать?

Сравнение аналитики за разные временные отрезки (и почему это неправильно)

Многие обращаются к Google Analytics, когда их просят измерить изменения в уровне конверсии по итогам оптимизации. Сравнение производится по временным отрезкам, сопоставляя период 6-12 месяцев назад, когда кампания была запущена, с конверсией, которая есть сейчас (линейный анализ).

Но вы не увидите полной картины по нескольким причинам, самая главная из которых – разный уровень качества вашего трафика.

Вот что говорит Chris Stucchio из VWO:

Сравнение по временным периодам, в математическом плане, не работает просто потому, что временной период статистически зависим от поведения пользователей. Посетители, зашедшие на сайт перед Днем Святого Валентина, скорее всего, купят цветы. Так что, если ваш временной отрезок А – январь, а временной отрезок Б – февраль, то в отрезке Б будет больше продаж цветов, что бы вы ни делали со своим сайтом. Из таких сравнений временных отрезков, конечно, можно попытаться извлечь какие-то выводы с помощью, например, Google causual impact или других похожих инструментов, но они весьма сложны в использовании и не так уж точны.

Есть множество вещей, который влияют на количество и качество трафика, например:

  • Время года
  • Праздники
  • Публикации в прессе (позитивные или негативные)
  • PPC/SEM
  • SEO
  • Сарафанное радио

Предположим, для начала, у вас есть 100,000 пользователей в месяц, и текущий уровень конверсии равен 2%. По многим причинам качество вашего трафика может измениться в течение года. Если вы торгуете оригинальными подарками, то праздничные дни увеличат вашу конверсию, с незначительным влиянием проводимой оптимизации. Точно так же, если вы попадете на главную страницу известного, но не релевантного вашей тематике, новостного издания, то получите огромный объем трафика – но его качество оставит желать лучшего, снизив средний показатель конверсии.

Уровень конверсии – изменчивый показатель

Постоянные временные отрезки – те, в которых статистические показатели (среднее значение, отклонения, автокорреляция и др.) с течением временем остаются неизменными. Как утверждается в статье на сайте Duke Univeristy, «данные постоянных отрезков достаточно легко предсказать: считается, что их статистические показатели в будущем будут такими же, как и в прошлом!»

В то же время, Investopedia утверждает, что данные зачастую непостоянны:

Нестационарные данные, как правило, изменчивы, непредсказуемы, и их нельзя смоделировать заранее или предсказать. Результаты, полученные с использованием данных непостоянных временных отрезков, могут быть ложными, так как один показатель может зависеть от другого, и в какой-то момент одного из них может просто не быть.

 

Источник изображения

Andrew Anderson из Malwarebytes заявил, что «все показатели – синусоидны, идут то вверх, то вниз, независимо от результатов ваших тестов». Примерно так:

 

Это естественное положение дел. Влиять может, что угодно: сезонность, день недели, внешние факторы, публикации в прессе, реклама и так далее. Данные колеблются. Даже если вы не будете ничего менять на сайте целый месяц, все равно результаты одного дня будут отличаться от результатов другого. Иногда колебания небольшие, а иногда – достаточно сильные.

Andrew считает, что по этой причине сравнение временных отрезков в аналитике не поможет в точном подсчете ROI, и приводит такой пример:

Линейный анализ поможет понять лишь то, где вы находитесь, но не то, где должны быть. Ваши результаты могут быть отличными, но вы все равно закончите с показателями хуже, чем они были в начале. Или, наоборот, сейчас все плохо, но в итоге вы добьетесь лучших показателей, чем те, с которыми начинали.

В обоих примерах голубая линия – это лучший вариант. Но желтая линия (худший) все равно показывает результат лучше, чем когда были начаты тесты. Так же как и голубая линия во второй части графика – она лучшая, но хуже, в целом, чем начальный период.

 

Он продолжает:

Ваша работа может стоить компании миллионы, а вы будете думать, что все в порядке просто сравнивая "до и после". От этого даже меньше пользы, чем просто бросить монетку. Ни то, ни другое никак не соотносится с реальным предсказанием последствий своих действий, но в случае с монеткой вы хотя бы не будете успокаивать себя тем, что есть данные, которые что-то значат.

 

Вы можете увидеть колебания в исходных данных, а также общие тенденции

Возможные исключения

Я поговорил с Craig Sullivan и понял, что делать сравнения временных отрезков все же можно. Однако необходимо получить ожидаемые данные по трафику (например, PPC) – и все равно это будет непросто. Вот что говорит Craig:

Проблема сравнений временных отрезков в том, что вы не можете быть уверены в надежности трафика за оба периода. Сезонность, реклама, маркетинг, активность конкурентов, изменения на рынке, даже погода и многие другие факторы могут исказить взятые вами примеры, так что перед вами окажутся уже не два яблока, а два разных фрукта. Однако, если вы можете гарантировать предсказуемость трафика с одинаковыми показателями, то шанс провести грубое сравнение все же есть. К примеру, если моя рекламная PPC-активность постоянна в течение 8 недель, я могу сделать, пусть и несовершенный, но все же какой-то анализ ситуации до и после – поскольку я, все же, буду сравнивать показатели внутри одного сегмента, а не разное поведение трафика.

Конечно, точность – проблема такого сравнения. Но я смогу, в общих чертах, понять ситуацию – стало ли лучше, хуже, или же дела обстоят неясным образом. Если я делаю анализ глубоких сегментов (например, пользователей, которые приходят и становятся лидами), то почему бы не сравнить их за 2 периода? Конечно, вариативность присутствует, но если эти пользователи последовательны в своих желаниях и намерениях во всех временных отрезках – то это возможно. А если я сравниваю внешний трафик по всему сайту, то такое временное сравнение уже не столь надежно.

И последнее. Есть разные инструменты, вроде GA Effect, которые позволяют оценить, повлияло ли изменение, которое вы сделали, на результат, который вы видите. Увеличение конверсии случилось из-за создания 30 новых SEO страниц или же это просто "шум" или вообще что-то иное? Мне кажется, что временные сравнения, в том виде, как они обычно используются, полны изъянов – в то же время, есть и исключения.

Если мы говорим о том, что PPC трафик «надежен», то имеем в виду, что вы не меняете свой дневной бюджет, не меняете ключевые слова и рекламный текст. 3, 6 и 12 месяцев – слишком длинные периоды, и изменчивости там слишком много. Это уже не тот же самый трафик. На самом деле, в AdWords все меняется постоянно, иногда каждый день:

Вопрос: как много изменений происходит в PPC за 3, 6, 12 месяцев? Рекламные объявления, ключевые слова, дневной бюджет – каковы шансы, что они остаются неизменными?

Ответ: Крупные игроки меняют ставки и бюджет ежедневно, ежемесячно тестируя объявления. Вся структура может измениться на 30-40% за период 3-6 месяцев.

К тому же вы не можете делать общие выводы по PPC-данным, потому что не можете быть уверены, что все источники трафика ведут себя одинаково. То, что работает с платным трафиком, может не сработать с прямым, SEO трафиком и так далее.

Тестируйте, чтобы оценить свой вклад

Если результаты остались на том же уровне или стали хуже, то как их объяснить? Корень проблемы кроется в том, что люди привыкли использовать линейные данные вместе сравнительных, которые дают тесты. Другими словами, вы говорите, что все стало на X процентов лучше, а не на X процентов лучше, чем какое-то определенное число. Все данные изменяются по принципу синусоиды, какими бы ни были результаты тестов».

-Andrew Anderson

Если сравнение временных отрезков ничем не помогает, то что же делать? Есть несколько способов измерить уровень вашего вклада. Ни один из них не идеален – у каждого есть свои достоинства и недостатки. Но, все же, это лучше, чем ничего.

1. Протестируйте старую версию сайта

Одним из простых способов вычислить ROI является тестирование старых версий сайта, в рамках крупного тестирования впоследствии всех изменений. Фактически, протестируйте все изменения, сделанные за период тестов (соединив их в один показатель), сравнив их со старой версией сайта.

Вот что говорит Andrew Anderson:

После 5 месяцев работы по оптимизации мы считали, что добились улучшений в 120%, после чего решили включить начальный вариант дизайна сайта в общее тестирование. Оказалось, что, на самом деле, мы добились улучшений на 257%, а основным фактором стала наша работа по SEM, улучшившая качество наших лидов, которые ранее ухудшали наши показатели. Это позволило понять, что наши тесты были не при чем, а, вместо этого, стоило заняться программами SEM – это дало работе по оптимизации безграничную возможность изменения пользовательского опыта.

Конечно, здесь есть свои плюсы и минусы. Craig Sullivan говорит, что если вы постоянно что-то улучшаете и узнаете новое, то тестировать старую версию – трата времени. Вот его слова:

Что было бы, если бы McDonalds предложили вернуться к форматам ресторана 2007 года, чтобы сравнить, как они работали. Или Facebook предложили бы внезапно использовать старый дизайн приложения. Конечно, все проверить - это хорошо, но думаю, что куда важнее – развить проект до такой степени, что тестирование старой версии уже просто бессмысленно.

2. Причинно-следственный анализ

Как говорит Andrew Anderson, «используйте причинно-следственный анализ, чтобы получить данные по своему приблизительному вкладу. В обоих случаях (причинно-следственный анализ и повторное тестирование старой версии), вы, наверняка, увидите, что ваш вклад больше, чем вы думали. Важно, чтобы вы проводили такой анализ без особой на то причины, и ясно давали понять остальным, куда движется ваша работа в целом».

Как же выглядеть причинно-следственный анализ? В целом, так: возьмите график общего тренда за долгий период в сочетании с ожидаемой погрешностью. Сравните прошлые данные, полученные до внесения всех изменений, и посмотрите на потенциальный результат, сравнив его с ожидаемым результатом графика тренда. Используйте независимые переменные (например, пользователей) чтобы понять, где бы вы могли быть и где вы сейчас.

 

Зависимость и причинность

Если вы можете получить приблизительные данные, то это уже лучше, чем ничего. Но будьте аккуратны с ошибками первого и второго рода ("ложно положительный", "ложно отрицательный") – как говорит Andrew.

Не самый точный вариант, но всё же лучше, чем ничего.

Измерьте свой вклад в разных стадиях воронки

По мнению Chris Stucchio, другим способом измерить свой вклад будет «сравнение эффекта оптимизации на разных стадиях воронки».

Допустим, ваши стадии - это:

  • Шаг 1: переход из рассылки на сайт
  • Шаг 2: добавление товара в корзину
  • Шаг 3: процесс оформления покупки
  • Шаг 4: покупка

Возможно, у вас будет недостаточно данных, чтобы измерить разницу на четвертом шаге. Но Chris говорит:

Зачастую, вы сможете сделать вывод по данным четвертого шага, исходя из шагов 1-3 (например, если вы смогли значительно увеличить количество пользователей, доходящих до шага 3, то, скорей всего (но не обязательно), вы увеличили конверсию). Есть точные пути подсчитать ее статистически, но, опять же, это достаточно сложно.

4. Отправить небольшое количество трафика на неизменный элемент сайта

Вот что говорит Lukas Vermeer, специалист данных Booking.com:

Если вы действительно хотите во всем разобраться – пошлите небольшое количество трафика на ту область сайта, которая остается неизменной. Это даст понять, насколько лучше ваш сайт сейчас, чем он был раньше.

Обычно, это сложно сделать технически, но лучше сделать так, чем оставаться в неведении, чем обернется бездействие или отсутствие тестов.

Небольшое количество трафика (5-10%), направленного на постоянную и неизменную область сайта, может быть самым точным измерением вклада оптимизации. Это тот метод, как я знаю, считается наиболее точным, по мнению экспертов оптимизации.

Chris Stucchio объясняет, как это работает:

Достоверным способом измерить ROI последовательной оптимизации будет использование постоянных неизменных страниц. Один из наших (CRO) партнеров отказывался оптимизировать более 90% своего трафика. Затем они сравнили этот трафик новый трафик с 10% старого трафика: разница (если она статистически велика) позволит убедить клиента применить изменения ко всему трафику.

Конечно, вопрос в цене. Если вы не оптимизируете 10% трафика, то (возможно) теряете потенциально увеличившийся доход. К тому же, вам приходится работать с недооптимизированным трафиком, так что тестирование в целях серьезных изменений займет больше времени.

Дополнительные издержки?

Как говорил Peep в своей статье:

Тестирование – это всегда дополнительные издержки, ведь вы уже заняты, и не можете тестировать что-то другое. Пока я подтверждаю свои догадки здесь, я мог бы тестировать что-то другое, что увеличило бы мои показатели (хотя, конечно, невозможно знать заранее – увеличило бы или нет). По той же причине встает вопрос, стоит ли заниматься повторным тестированием.

Joshua Kennon и вовсе считает, что «у всего в жизни есть дополнительные издержки».

Это вопрос ваших конкретных целей и готовности принять некий уровень риска. Andrew Anderson считает, что всегда стоит заниматься улучшением производительности, что может означать необходимость потратить время на тестирование своего вклада в долгосрочной перспективе:

Всегда стоит попытаться улучшить свои результаты. Но если ваши изменения слишком мелкие для углубленного тестирования, то стоит либо все же провести его досконально, либо не делать вообще. Проблема в том, что небольшие изменения очень сложно измерить (в разных случаях небольшие – это от 2% до 20%). Эти изменения накапливаются и могут быть даже более значительными, чем одно огромное. Но если вы не можете полностью положиться на данные, то стоит попытаться заняться самыми крупными областями, чтобы получить наиболее полезный для бизнеса результат.

Помните, что ваши раздумья ограничивают вас, и чем вы меньше – тем больше вам нужно постараться выйти за рамки зоны своего комфорта.

Вот, что говорит Craig на тему издержек:

Всегда идут споры, стоит ли заниматься подсчетом всех мелких изменений. В итоге, вы, может быть, не сможете разглядеть их в уровне внешнего шума. По своему опыту могу сказать, что оптимизацию нужно делать быстро и все приоритизировать, ну и правка ошибок, конечно, тоже приведет к подъему – независимо от того, собираетесь вы измерять каждый свой вклад или нет.

Мой совет – если вы не занимаетесь постоянным сбором ключевых показателей, за счет которых существуете и для которых проводите оптимизацию, то стоит ли заморачиваться измерением каждого небольшого вклада?

Вот почему я собираю изменения или баги в группы, или оптимизирую сразу 30 страниц, а не одну – тогда я точно смогу заметить разницу за счет сделанных мной изменений.

Исправили 235 ошибок и подняли конверсию – нужно ли измерять и тестировать каждую правку в отдельности – конечно, нет.

Будьте на подъеме, двигайтесь дальше и продолжайте тестировать быстро и хорошо, основываясь на качестве. Если быстрота и приоритизация в тестировании даст вам новые возможности, то бесконечный анализ – нет.

Еще раз отметим, что оптимизация – это не просто A/Б тестирование. Matt Gershoff, CEO Conductrics, верно замечает, что часть оптимизации – это «сбор информации для принятия решений". Другими словами, оптимизация – это и снижение неуверенности, и снижение рисков при принятии решений. Так что польза от оптимизации заметна во всех областях вашей работы».

Craig также отмечает, что оптимизация – это не только тестирование. Вот что он говорит:

Вы проводите ряд тестов, результат которых – важные знания для вашего бизнеса. Дело не только в тестировании, но и в самообучении. Результат работы зависит от сформированных гипотез и программ тестирования, которые дают вам знания - это не краткосрочный вклад. Можно назвать это Интеллектуальным Имуществом для вашего бизнеса, которое вы получаете из данных по пользователям.

Вывод

Измерить ROI сложно. Но всё же возможно.

Есть тщательные статистические методы вычисления вашего вклада (GA Effect, причинно-следственная связь). И даже несмотря на то, что сравнение временных отрезков, обычно, ошибочно (из-за непостоянности данных), как сказал Craig, есть и исключения, когда вы можете рассчитать приблизительные ожидания (если у вас стабильный и контролируемый трафик, как в случаях с PPC, хотя общие выводы все равно сформировать будет трудно). Наконец, одним из наиболее популярных вариантов является отправка постоянного количества трафика на небольшую область сайта, оставшуюся без изменений.

Помните, что правильно проведенная оптимизация, и знания, которые вы получаете, могут быть использованы вами в маркетинге в целом. Это процесс, который дает вам информацию для принятия верных решений, так что возврат инвестиций здесь переплетается с понимаем своих покупателей.

 

Перевод и адаптация материала «How Can We Really Measure The ROI of Optimization?»

Автор статьи: Alex Birkett, контент-маркетолог в ConversionXL.

© CubeLine Agency

 

Marketing Guide
Marketing Guide

Marketing Guide — это серия кратких справочников, в которых объединена и структурирована полезная информация для практикующих маркетологов.

Скачать
Подписывайтесь на блог Marketing & Coffee
Получайте новые статьи блога на свою почту.
Нажимая кнопку "Подписаться", я даю свое согласие CubeLine на обработку моих персональных данных, в соответствии с Федеральным законом от 27.07.2006 года №152-ФЗ «О персональных данных», на условиях и для целей, определенных Политикой конфиденциальности.
Тренды мобильной рекламы на 2019: от дополненной реальности до гибких экранов

Что ждет мобильную рекламы в 2019 году? Как удержать внимание пользователей в диком темпе меняющихся технологий?

© 2009—2019. Интернет-агентство «CubeLine». Performance marketing в Петербурге