Аналитика – важный компонент онлайн-маркетинга, поэтому крайне важно четко понимать, как правильно интерпретировать цифры. В этой статье я раскрою суть четырех понятий из области статистики, понимание которых, на мой взгляд, будет полезно для каждого, кто работает в сфере онлайн-маркетинга.
Некоторым людям статистика кажется чем-то скучным, тогда как для других она является одной из самых притягательных областей знаний. Хал Вариан, ведущий экономист Google, даже называет ее сексуальной:
«Я вновь и вновь повторяю, что в ближайшие десять лет профессия специалиста по статистике станет одной из самых сексуальных. Люди думают, что я шучу, но кто бы мог подумать в 1990 году, что профессия компьютерщика перейдет в разряд сексуальных? Способность собирать данные, способность понимать и обрабатывать их, извлекать из них пользу, визуализировать и рассказывать о них – все это станет исключительно важными навыками в последующие десятилетия…»
Первые три способности, упомянутые Халом Варианом, отражаются на качестве вашей работы. Это способность понимать и обрабатывать данные, а также извлекать из них пользу. А две последние – способность визуализировать данные и рассказывать о них – отражаются на ваших отношениях с клиентами или с руководством. Хорошая работа ничего не стоит, если вы не можете сообщить о ней клиентам.
В годовом отчете LinkedIn вы также найдете упоминание о статистике как одной из наиболее востребованных областей знаний:
«Данные никуда не исчезают. Область знаний, занимавшая топовую позицию в прошлом году – статистический анализ и обработка данных – переместилась на вторую строчку рейтинга и надежно удерживает свои позиции. Это единственная категория, которая стабильно входит в топ-4 во всех странах, в которых мы проводили анализ. Мы все живем в мире, управляемом данными, и компании активно охотятся за экспертами в области хранения, извлечения и анализа данных.»
Итак, рассмотрим некоторые статистические понятия, которые необходимо знать специалистам в области онлайн-маркетинга.
1. Принцип Парето
Вполне возможно, вы слышали о принципе Парето. Возможно, вы знаете его как правило 80 к 20, которое, согласно Википедии, означает, что «20% усилий дают 80% результата, а остальные 80% усилий — лишь 20% результата». Принцип назван в честь итальянского экономиста Вильфредо Парето, который обнаружил, что 20% стручков гороха в его саду содержат 80% горошин, а 80% итальянских земель принадлежит 20% населения.
С законом Парето можно столкнуться повсеместно, и зная о нем, вы можете извлечь из этого пользу. Если вы сможете определить, какие 20% от вашего времени дают 80% результата, вы можете уделять больше внимания этим действиям и тратить меньше времени и сил на все остальное.
Хотите реструктурировать аккаунт AdWords, но нет времени на полную модернизацию? Определите 20% ключевых запросов, которые приносят наибольшее количество продаж, и начните с них.
А может быть, вам нужно повысить уровень конверсии путем оптимизации целевых страниц на сайте, содержащем сотни таких страниц? Опять же, вы можете обнаружить, что 20% страниц генерируют 80% конверсии. Так почему бы не начать с них?
Принцип Парето – это простой эвристический подход, который часто бывает полезным в онлайн-маркетинге.
2. Закон больших чисел
Закон больших чисел говорит о том, что если случайный эксперимент повторять достаточно часто, то среднее арифметическое его результатов будет стремиться к среднему ожидаемому значению.
Возьмем, к примеру, подбрасывание монетки. «Орел» и «решка» имеют равные шансы, поэтому мы ожидаем, что примерно в половине случаев выпадет «орел», и в половине – «решка». Однако если вы подбрасываете монетку всего 10 раз, вы не можете быть уверены, что каждая из сторон выпадет именно по 5 раз. Скорее всего, вы легко можете представить сценарий, где «орел» выпадает 6 или 7 раз из 10. На самом деле,«орел» может выпасть даже 8 раз из 10 (вероятность этого более 4%).
Но что если мы возьмем 1000 подбрасываний вместо 10? Изменит ли это что-нибудь? Согласно закону больших чисел, должно изменить.
При 10 подбрасываниях мысль о 80% «орлов» не казалась невероятной. Но можете ли вы представить, что 800 раз из 1000 выпадет «орел»? Я сомневаюсь в этом. Вероятность этого настолько мала, что для того чтобы выразить ее в числовом виде потребовалось бы 86 нолей. При 1000 подбрасываниях вы можете ожидать результат, более близкий к равному количеству «орлов» и «решек», чем при 10 подбрасываниях.
Итак, наш пример с монеткой достаточно хорошо иллюстрирует то, о чем говорит закон больших чисел: чем больше раз мы повторяем случайный эксперимент, тем больше среднее арифметическое его результатов будет стремиться к среднему ожидаемому значению.
Даниел Канеман в своей великолепной книге «Думай медленно… решай быстро» рассказывает историю о крупном инвестировании фонда Билла и Мелинды Гейтс. Исследователи попытались выявить самые успешные школы в надежде понять, что отличает их от всех остальных.
Одним из выводов оказался тот факт, что успешные школы в своем большинстве были маленькими. Возможное объяснение этому феномену найти несложно. Например, быть может маленькие школы могут обеспечить больше персонального внимания и поддержки ученикам.
По этой причине фонд Гейтса инвестировал в маленькие школы, более того, многие крупные школы были разбиты на более мелкие.
Проблема в том, что это неверно. Канеман пишет:
«Если бы специалистов по статистике попросили выявить худшие школы, они бы обнаружили, что самые худшие школы – это тоже маленькие школы. Истина заключается в том, что маленькие школы не лучше и не хуже. Они менее единообразны.»
Точно так же, как меньшее количество подбрасываний монетки дает более разнообразные результаты, чем большее количество подбрасываний, маленькие школы более разнообразны, чем большие.
Как это относится к онлайн-маркетингу?
Предположим, вы хотите исследовать, какие города имеют самый низкий уровень конверсии на вашем сайте. Вы можете отправиться в Google Analytics или Яндекс.Метрику и сформировать Geo-отчет по уровню конверсии в убывающем порядке. И вы получите то, что нужно. 10 городов с самым низким уровнем конверсии. Скорее всего, результат будет очень похож на тот, что был получен специалистами фонда Билла Гейтса. Города с самым низким уровнем конверсии окажутся маленькими.
Но прежде чем запускать крупную национальную кампанию с целью повышения узнаваемости бренда в маленьких городах, попробуйте взглянуть на противоположную сторону списка. Города с самым высоким уровнем конверсии тоже могут оказаться маленькими. Это не значит, что маленькие города лучше или хуже больших. Они дают более разнообразные результаты из-за небольшого числа посетителей.
То же самое касается А/В тестирования. Вам обязательно нужны дополнительные данные, прежде чем вы сможете положиться на результаты А/В тестирования и назвать их статистически значимыми.
Итак, что нам с этим делать?
Не стоит делать поспешных обобщений. Ложные заключения, основанные на малой выборке, иногда называют законом малых чисел.
В случаях, подобных описанным выше, когда вы пытаетесь определить характеристики лучшего и худшего чего-либо, имеет смысл всегда проверять противоположный конец шкалы. Нередко можно обнаружить, что лучшее и худшее имеет одни и те же характеристики.
Позвольте привести последний пример. На графике ниже вы видите показатели конверсии за одну сессию для каждого часа в течение дня. Сначала может показаться, что ночные часы наиболее продуктивны в плане конверсии. Но вместо того, чтобы делать поспешный вывод, попробуем определить наименее продуктивные часы. Неудивительно, что это тоже окажется ночь.
Есть ли причина того, почему ночные часы дают более разнообразные результаты, чем дневные? Как показывает следующий график, ночью мы получаем очень небольшое количество трафика. Один час ночью – это как одна маленькая школа. Он может быть как очень хорошим (1, 4 и 6 утра), так и очень плохим (2, 3 и 5 утра). Но разница может быть обусловлена случайными причинами.
Закон больших чисел предписывает нам в большей степени доверять результатам часов с большим количеством сессий, чем результатам тех часов, в течение которых количество сессий было минимальным.
3. Относительные и абсолютные числа
Представьте, что вы читаете о новом лекарстве, которое снижает риск опасного заболевания на 25%. На первый взгляд, это выглядит очень многообещающе, но говорят ли эти цифры о том, какова будет реальная польза от приема этого препарата?
Предположим, что без приема лекарства этой болезнью заболевали 20 человек из 1000. Благодаря применению лекарства, количество заболевающих сократилось до 15 человек из 1000. Хотя относительное снижение количества заболеваний действительно составляет 25%, мы должны также учитывать абсолютные значения.
В абсолютном значении новое лекарство уменьшило число заболеваний только лишь с 20 до 15 на 1000 человек. И хотя это правда, что на 25% меньше людей стали заболевать благодаря лекарству, также правда и то, что реальный риск заболеть снизился всего на 0.5 процентных пунктов - с 2% до 1.5%. А если принять во внимание возможные побочные эффекты, то лекарство уже не будет выглядеть таким многообещающим.
Здесь необходимо учитывать одно важное различие. Изменение в процентах нельзя путать с изменением в процентных пунктах.
Как это соотносится с онлайн-маркетингом?
Если кто-то говорит вам, что конверсия вашего сайта снизилась на 2%, необходимо проверить, что скрывается за этой цифрой. Ваша реакция должна быть принципиально разной в зависимости от того, имелось ли в виду снижение на 2 процентных пункта – с 4% до 2% или снижение на 2% - с 4% до 3.92%.
Обсуждая изменения, мы должны быть уверены, что все знают, что означают те или иные цифры. Имеем ли мы в виду относительные числа или абсолютные? Говорим о процентах или процентных пунктах?
Особенно осторожными следует быть с относительными числами, когда в качестве точки отсчета мы имеем очень маленькую цифру. Если ваша рекламная кампания генерирует конверсию на 50% меньше, не паникуйте, если это всего-навсего снижение с 2 до 1 конверсии. Но если это падение с 2000 конверсий до 1000, то основания для паники уже есть. Снижение на одну конверсию – это, скорее всего, случайное колебание. А вот падение сразу на 1000 конверсий может быть вызвано серьезными проблемами.
На примере выше видно, как именно проценты могут вводить в заблуждение, когда абсолютные числа слишком маленькие. Хоть уровень достижения цели снизился на 50%, а уровень конверсии – на 63%, реальное изменение составляет всего 1 конверсия. Вряд ли это то, из-за чего стоит поднимать панику.
Здесь видно, насколько ошибочное впечатление может сложиться, если учитывать только проценты, без абсолютных значений.
4. Парадокс Симпсона
Парадокс Симпсона, как говорится в Википедии, - это «эффект, явление в статистике, когда при наличии разных групп данных, в каждой из которых наблюдается одинаково направленная зависимость, при объединении этих групп направление зависимости меняется на противоположное».
Классический пример парадокса Симпсона – анализ данных о поступивших в 1973 году в Калифорнийский университет в Беркли. Цифры показали, что мужчины имеют больше шансов быть принятыми в университет, чем женщины. 44% мужчин из числа тех, кто подавал документы, поступили в университет, тогда как для женщин эта цифра составила 35%.
Парадокс возник при изучении информации по отдельным кафедрам, так как выяснилось, что в действительности ни на одной кафедре не было замечено сильного перевеса в пользу мужчин. Как показывает таблица ниже, напротив, на четырех кафедрах из шести наблюдался небольшой перевес в пользу женщин.
Если вы внимательнее посмотрите на таблицу, вы заметите, что женщины были склонны подавать документы на кафедры с наибольшим конкурсом и низким процентом поступивших (C, D, E, F). Мужчины шли на кафедры A и B, где конкурсный отбор был менее жесткий, а процент поступивших выше как среди мужчин, так и среди женщин.
Итак, несмотря на то, что процент поступивших женщин был выше на 4 кафедрах из 6, общий уровень поступления оказался выше для мужчин, так как они подавали документы на кафедры, где конкурсный отбор был наименее жестким.
Как это можно соотносится с онлайн-маркетингом?
Допустим, вы хотите сравнить продуктивность двух целевых страниц на вашем сайте. Глядя на уровни конверсии, вы можете предположить, что страница A лучше, чем страница B, так как уровень конверсии страницы А составляет 4.39%, а уровень конверсии страницы В – только 3.49.
Но посмотрите, что произойдет, если мы разобьем уровень конверсии для каждой страницы по источникам трафика.
Сейчас мы видим, что несмотря на то, что у страницы А выше общий уровень конверсии, страница В показывает лучшие результаты для каждого отдельно взятого источника трафика. Страница А не лучше; просто она по какой-то причине получает значительно больше трафика из источника с более высоким уровнем конверсии. Это парадокс Симпсона – точь-в-точь как с цифрами из примера про университет.
Что мы можем с этим сделать?
Прежде всего, нужно убедиться, что вы правильно проводите рандомизированное исследование. Если бы приведенные цифры были взяты из реального сплит-теста двух целевых страниц, этот тест бы явно был некорректным, что видно из источников трафика.
Помимо этого, нужно помнить о необходимости разбивать данные. Как написал в своем блоге Авинаш Кошик, «не существует настолько информативных цифр, чтобы нельзя было бы их сделать еще более информативными посредством сегментирования».
Заключение
Я надеюсь, что вы нашли эти четыре принципа из области статистики полезными и почерпнули что-то новое для себя, что поможет вам в работе. Знание статистики будет становиться все более и более важным в онлайн-маркетинге, и занимаясь самообразованием, вы можете быть уверены, что шагаете впереди других в мире, в котором для нас открывается доступ к самой интересной информации.
Как сказал Хал Вариан, статистика станет одной из сексуальных специальностей в ближайшие 10 лет! А научившись сочетать знания статистики со знаниями в области онлайн-маркетинга, вы станете одним из наиболее привлекательных и востребованных специалистов.
Спасибо!
Спасибо за полезную статью!)