Опросы: в чем недостатки этого метода исследований, и как их преодолеть

Опросы — простой и потому очень популярный метод исследования. Однако у него есть свои ограничения и существенные недостатки, и об этом стоит помнить, полагаясь на полученные данные при принятии каких-либо решений. Перевели для вас статью дизайнера и публициста Эрики Холл, в которой она по косточкам разбирает метод маркетинговых опросов, доказывая его неэффективность в достижении бизнес-целей.

Опросы — это самый опасный инструмент исследования, который неправильно понимают и которым злоупотребляют. Они часто сочетают в себе качественные и количественные аспекты, и часто худшую комбинацию их обоих.

Проводить опрос слишком просто. Вот почему опросы так опасны. Их так легко создавать и так легко распространять, а результаты так легко подсчитывать. А наш бедный человеческий мозг устроен так, что информация, которую нам легче обработать и осмыслить, кажется более достоверной. Это наше когнитивное предубеждение. Благодаря этой легкости результаты опроса кажутся правдивыми и обоснованными, какими бы ложными и вводящими в заблуждение они ни были. И с этой легкостью трудно поспорить.

На основе опросов принимается множество важных решений. Когда вы сталкиваетесь с выбором или с группой несхожих мнений, проведение опроса может показаться наиболее эффективным способом найти направление или урегулировать споры (и уйти от ответственности за результат). Какую функцию нам следует внедрить следующей? Как нам следует назвать наш продукт? Мы не можем решить сами, поэтому давайте проведем опрос.

Что делает опрос плохим? Если полученные вами данные на самом деле не являются полезными для принятия решения, которое вам необходимо принять, или если они не отражают реальность, это плохой опрос. Это может произойти, если респонденты не дали правдивых ответов, или если на вопросы невозможно ответить правдиво, или если вопросы не соответствуют нужной вам информации, или если вы задаете наводящие или запутывающие вопросы. Часто прямой вопрос — худший способ получить правдивый и полезный ответ. Таковы люди.

Очень сложно определить, что опрос плохой и насколько качественные вопросы вы написали. В плохом коде будут ошибки. Плохой дизайн интерфейса не пройдет проверку на удобство юзабилити. Понять, что опрос прошел неудачно, можно только на основе второго источника информации, противоречащего первому.

Наиболее соблазнительно то, что опросы дают ответы, которые легко подсчитать, а подсчет кажется таким определенным, объективным и правдивым. И как только появится статистика (например, «75% опрошенных пользователей сказали, что им нравятся видео, которые автоматически воспроизводятся при загрузке страницы») — этот простой «факт» примут во внимание лица, принимающие решения.

Провести опрос проще, чем по-настоящему глубокое исследование. Так что иногда мы относимся к сбору данных как к ребенку из сказки, которого отправили собирать грибы на ужин. Уже поздно, а грибы далеко, на другом берегу реки. И вы же не хотите промочить ноги. Но посмотрите, здесь же есть камни! Камни похожи на грибы. Так что, возможно, никто этого не заметит. А потом вы все сидите за столом и делаете вид, что едите грибной суп и хрустите булочками.

Многие люди в конференц-залах делают вид, что самый простой способ сбора данных — самый полезный. И замалчивают результаты.

Популярная тема для опросов — «удовлетворенность клиентов», которая стала наиболее используемым показателем в измерении лояльности клиентов. Но оценка удовлетворенности клиентов — это абстракция, к тому же неточная. Согласно обзору MIT Sloan Management Review, изменения в уровне удовлетворенности клиентов объясняют менее 1% различий в их доле расходов в данной категории.

А издание Bloomberg Businessweek написало, что:

«Показатели качества обслуживания клиентов не имеют отношения к доходности… компании, которые больше всего ненавидят, работают лучше, чем их любимые коллеги».

Многие факты указывают на то, что это не значимый показатель для бизнеса, а, скорее, очень удобный для измерения.

Существует целая индустрия, основанная на удовлетворенности клиентов. И когда есть отрасль, которая зарабатывает деньги на существовании показателя, это заставляет меня скептически к нему относиться.

Вот опрос об удовлетворенности клиентов Foresee:

1. Пожалуйста, оцените, насколько хорошо организован сайт
2. Пожалуйста, оцените доступные варианты навигации по этому сайту
3. Пожалуйста, оцените, насколько хорошо вам помогает макет сайта.

Но это полная чушь.

Оцените доступные варианты навигации? Что это значит? С каким реальным показателем успеха в бизнесе это связано? Оцените количество кликов по десятибалльной шкале? Я не смог этого сделать. Я подозреваю, что многие люди выбирают количество кликов, которое они помнят.

Точность информации? Как пользователь сайта может оценить, насколько точна информация? Что вообще означает оценка «7» за точность информации? Ничто из этого не говорит о том, для чего на самом деле предназначен веб-сайт или как реальные люди думают или принимают решения.

И, что самое важное, хитрость заключается в том, что эти вопросы об удовлетворенности клиентов представляют собой качественные вопросы, представленные в количественной форме. Это своего рода алхимия исследования клиентов.

Я хочу, чтобы все увидели лояльность клиентов тем, что она есть — привычкой. И, чтобы добиться большего успеха в создании лояльности, вам нужно оценивать факторы, которые формируют привычку. Когда вы выбираете методы исследования и рассматриваете возможность проведения опросов, вам нужно ответить для себя на один ключевой вопрос: захотят ли и смогут ли люди, которых я опрашиваю, дать правдивый ответ на мой вопрос? И никогда не спрашивайте людей, что им нравится, а что нет.

Симпатия — это психическое состояние, о котором вам сообщают, и оно не обязательно соответствует какому-либо поведению.

Старайтесь не просить людей вспомнить что-либо более давнее, чем несколько дней назад. Люди — ленивые, забывчивые существа, живущие по привычке. Если вы спросите о чем-то, что произошло слишком давно, вы получите ответ низкого качества.

И особенно, никогда не просите людей предсказать их собственное поведение в будущем. Они будут делать такие прогнозы, принимая желаемое за действительное или исходя из социальной привлекательности. Самый популярный вопрос из всех, которые задаются в ходе опросов: какова вероятность того, что вы купите то, что я продаю, в ближайшие полгода?

Никто не может ответить на этот вопрос. В лучшем случае вы можете получить 1) Возможно, или 2) Совсем нет.

Да, опросы хороши тем, что вы можете оценить результаты количественно. Но вы должны спросить, что вы оцениваете количественно? Является ли это реальным количеством чего-либо, (например, сколько раз, как часто) или это скрытое качество, такое как привлекательность, легкость или уместность, которое пытаются выдать за нечто измеримое?

Чтобы принимать какие-либо решения и собирать информацию, необходимую для принятия обоснованных решений, первое, что вам нужно сделать — это определить критерий успеха. Вы не можете вывести это определение из набора цифр. Чтобы составить хороший опрос, вам нужно очень четко сформулировать, что вы хотите знать, и почему опрос — правильный способ получить эту информацию. И потом вы должны написать очень четкие вопросы.

Если вы используете опрос, чтобы запросить качественную информацию, четко определите это и знайте, что вы получите скудную информацию без контекста. Вы не сможете понять все важные «почему», стоящие за ответом.

Если вы относитесь к опросу как к количественному источнику, вы можете задавать только те вопросы, на которые можно положиться при подсчете респондентов. Вы должны быть честны в отношении типа данных, которые вы в состоянии собрать, или не утруждать себя этим. И держитесь подальше от этих странных 10-балльных шкал. Они не отражают реальность.

По сути, весь бизнес заключается в том, чтобы делать ставки на поведение людей.

— Сила «объемных» данных, WSJ

Основная причина, по которой стоит беспокоиться о сборе информации для принятия обоснованных решений, заключается в том, что в конечном итоге вы хотите, чтобы эти решения привели к определяемому успеху.

Делать ставки, основываясь на результатах наблюдений за поведением людей, может быть гораздо эффективнее, чем делать ставки на основе некачественных опросов. Так что действуйте, будьте лучше и внимательно относитесь к сбору данных. Наиболее измеряемые данные могут оказаться не самыми ценными.

Целиком и в оригинале материал можно прочитать здесь. 

Photo by Towfiqu barbhuiya on Unsplash