Умение проводить исследования — важный навык в работе продакт-менеджера. С их помощью можно протестировать гипотезу о продукте, принять решение о запуске новых функций и лучше узнать потребности и «боли» пользователей. Академия Яндекса составила подборку ключевых методов исследований, сравнила их и описала ситуации, когда их следует применять.

Типы исследований

Существует три основных типа исследований: качественные, количественные и смешанные. Количественные исследования, например, A/B-тесты, основаны на идее о том, что поведение людей и отношение их к чему-либо можно выразить с помощью числовых величин. В качественных исследованиях собирают и анализируют нечисловые данные, такие как ответы пользователя в ходе интервью. А смешанные методы (карточная сортировка, опросы, тестирование MVP) объединяют в себе качественные и количественные.

Все продуктовые исследования делятся на отношенческие и поведенческие. Первые позволяют узнать, что для пользователя важно и чего он хочет. Вторые — пронаблюдать за тем, как он поступает на практике. При выборе метода исследований важно учитывать их стоимость, сложность сбора и анализа данных.

Качественные исследования

Интервью
Стоимость: средняя
Сложность сбора данных: средняя
Сложность анализа: средняя
Тип: отношенческое исследование, поведенческое исследование

Интервью — это один из наиболее универсальных способов исследований. Его используют для того, чтобы исследовать поведение пользователей, выявить их «боли» и потребности. Интервью можно проводить на всех этапах работы над продуктом — от формирования и проверки гипотезы до поддержания работающего сервиса и внедрения новых функций. Преимущество этого метода исследований в том, что он позволяет углублённо изучить мотивацию пользователей, лучше понять целевую аудиторию и получить от неё неожиданные инсайты.

Юзабилити-тесты
Стоимость: средняя
Сложность сбора данных: средняя
Сложность анализа: средняя
Тип: поведенческое исследование

Юзабилити-тесты — это исследования, в ходе которых менеджеры продукта наблюдают за тем, как пользователь использует сервис, какие функции для него наиболее значимы. 

При этом человеку даётся задание, которое он должен выполнить, например, настроить объявления для определенных групп пользователей. Этот метод исследований хорош тем, что позволяет быстро погрузиться в продукт, особенно он пригодится тем менеджерам, которые только перешли в новую компанию или сервис.

Юзабилити-тесты могут быть как модерируемыми, когда вы присутствуете на исследовании, общаетесь с респондентом и наблюдаете за ним, так и немодерируемыми — для чистоты эксперимента. Таким образом можно тестировать как свои продукты, так и продукты конкурентов, чтобы понять, какие плюсы и минусы есть у нынешних решений. Ещё одно достоинство юзабилити-тестов — то, что их легко проводить дистанционно, например, используя TeamViewer и наблюдая за тем, что делает пользователь.

Фокус-группы
Стоимость: средняя
Сложность сбора данных: средняя
Сложность анализа: средняя
Тип: поведенческое исследование

Фокус-группы позволяют выявить основные проблемы продукта. В ходе фокус-групп используется метод глубинных интервью, однако продакт-менеджер общается не с одним пользователем, а с группой из нескольких человек. Этот метод исследований позволяет удешевить проведение интервью (за счёт меньших затрат времени) и обнаружить ключевые проблемы. Недостаток проведения фокус-групп заключается в том, что групповая динамика может сместить итоговый результат, например, если появится лидер, который будет подталкивать остальных к своему мнению. Поэтому исследователю важно самому направлять обсуждения в группе.

Смешанные исследования

Опросы
Стоимость: низкая
Сложность сбора данных: низкая
Сложность анализа: низкая
Тип: отношенческое исследование

Опросы — это гибкий инструмент исследования пользователей. Их можно проводить в разнообразных контекстах: размещая простой открытый опрос на сайте, через рассылку или после тестирования удобства использования сервиса. 

Опросы могут принести и количественные, и качественные данные: рейтинги, процентное соотношение выбора одного из вариантов ответов на вопрос с несколькими вариантами ответа и, кроме того, ответы на открытые вопросы. 

Карточная сортировка
Стоимость: высокая
Сложность сбора данных: высокая
Сложность анализа: высокая
Тип: поведенческое исследование

Карточная сортировка позволяет сформировать структуру меню или каталога руками пользователей. В ходе исследования названия сортируемых объектов записываются на карточках, а затем респонденты сортируют их, исходя из своих представлений о структуре объектов и связях между ними. Далее исследователи анализируют результаты и выявляют закономерности. При «обратной» карточной сортировке проверяется уже существующая иерархическая структура. Участникам дают задания и предлагают найти подходящую карточку, перемещаясь по дереву категорий от верхнего к нижнему уровню. Такой тест проверяет работоспособность структуры, например, расположения разделов в приложении и связей между ними.

Это исследование можно проводить как с личным присутствием и физическими картами, так и удалённо, например, через платформу для сортировки карт OptimalSort.

Тестирование концепции с помощью MVP
Стоимость: низкая
Сложность сбора данных: низкая
Сложность анализа: низкая
Тип: отношенческое исследование

MVP — это простейший работающий прототип сервиса, при помощи которого тестируют спрос, прежде чем начинать полномасштабную разработку. Такой подход страхует компанию от создания невостребованного продукта и помогает не тратить ресурсы на дизайн и разработку понапрасну. MVP позволяет минимальными усилиями собрать информацию, чтобы доработать продукт в соответствии с запросами целевой аудитории или полностью отказаться от неудачной идеи.
 

Анализ пользовательских сессий
Стоимость: низкая
Сложность сбора данных: низкая
Сложность анализа: низкая
Тип: отношенческое исследование

В ходе этого исследования анализируют накопленную информацию о пользовательской активности ― действиях, которые пользователь совершает в ходе работы с сервисом, таких, как запросы в поисковой системе или переходы между разделами в приложении. С помощью анализа сессий можно узнать сценарии поведения пользователей и упростить достижение их целей, например, сократив количество шагов, необходимых для совершения заказа.

Айтрекинговое тестирование
Стоимость: высокая
Сложность сбора данных: высокая
Сложность анализа: высокая
Тип: поведенческое исследование

Для айтрекинговых исследований требуется специальное оборудование, которое отслеживает движение взгляда пользователей по интерфейсу. Когда 30 или более участников выполняют одно и то же задание на экране, можно заметить закономерности и выяснить, какие элементы на странице привлекают внимание пользователей. 

Айтрекинг помогает определить, на каких элементах контента нужно акцентировать внимание, а от каких его, наоборот, лучше его отвлечь. 

Самый большой недостаток айтрекинговых исследований — необходимостьприменения дорогого оборудования, которое не получится использовать без специальной подготовки.

Количественные исследования

A/B-тестирование
Стоимость: низкая
Сложность сбора данных: низкая
Сложность анализа: низкая
Тип: поведенческое исследование

A/B-тестирование — неотъемлемая часть работы над любым сервисом. С его помощью можно проверить гипотезу о том, поменяется ли выбранная продуктовая метрика, если изменить что-то в продукте, например, увеличится ли количество пользователей, если изменить дизайн страницы регистрации. Для этого сравниваются результаты тестовой и контрольной групп пользователей: первой выборке показывают новое решение, а у контрольной группы продукт остаётся неизменным.

При этом важно проверить, будет ли изменение статистически значимым — подтвердить, что наблюдаемая разница у тестовой и контрольных групп действительно связана с нововведениями в продукте, а не является случайностью.

Кластеризация качественных обращений
Стоимость: низкая
Сложность сбора данных: низкая
Сложность анализа: средняя
Тип: отношенческое исследование

Кластеризация качественных обращений — это способ перевести словесные обращения и отзывы пользователей в качественные данные. Этот метод позволяет при помощи моделей машинного обучения и обработки естественного языка выделить запросы, которые постоянно повторяются в обратной связи.

Веб-аналитика
Стоимость: низкая
Сложность сбора данных: низкая
Сложность анализа: высокая
Тип: поведенческое исследование

Веб-аналитика позволяет выявить и приоритизировать проблемы продукта. С её помощью можно узнать количество людей, которые пришли на ваш ресурс, глубину просмотра (количество страниц, просмотренных посетителями за один раз), конверсию в платящих или зарегистрированных на сервисе пользователей и тому подобное.