Проблемы персонализации интерфейса

Есть продукты, в которых особенно важна персонализация интерфейса. Например, аналитические инструменты с сотнями таблиц и графиков. Многие пользователи хотят иметь возможность настраивать дашборды «под себя». Автор канала @product_proverbs поделился кейсом: к чему привела идея сделать фичу, которую просили пользователи.

На старте самым частым запросом был: «Добавьте возможность передвигать виджеты, я хочу менять их местами». Казалось, что это логичная и востребованная фича, и ее реализовали.

В результате фичей пользовался 1% пользователей. При этом большинство, попробовав единожды, больше никогда ей не пользовались. Перетаскивание виджетов оказалось никому не нужным. Более того, новая функциональность сильно усложнила дальнейшее развитие.

Похожая история была с добавлением виджетов в избранное. Фича зашла лучше, но тоже не пользовалась популярностью. Все эти персонализации интерфейса никак не повлияли на удержание пользователей и другие продуктовые метрики.

Итог. Персонализация интерфейса нужна, но часто работает хуже, чем ожидается. Принимая решение о подобных фичах, задайте себе вопросы:

1. Сколько в % соооношении заявок на фичу к количеству всех активных пользователей?

2. Какие продуктовые метрики вы хотите улучшить? «Хороший фидбек» — это обычно плохая метрика.

3. Какая стоимость не только разработки, но и поддержки фичи?

На своем канале @product_proverbs публикует короткие истории из практики продуктового менеджмента. Выходят дважды в неделю. Рекомендуем подписаться!

Мы знаем, что многие из вас соскучились по живому общению, поэтому мы потихоньку начинаем возвращаться в офлайн и организовывать небольшие живые ивенты.

Завтра вечером, 16 ноября, проведем Q&A с Женей Лисовским, CEO Maps.me. Будем спрашивать Женю про сделку по выкупу компании у MRG за 1,5 млрд руб, про то, как из управленца стать совладельцем, про мышление предпринимателя, про работу со стартапами и про принятие рисковых решений. Вы также можете оставить свои вопросы и голосовать за лучшие в форме на лендинге, а мы зададим их Жене.

Офлайн в Москве, в Рабочей Станции Балчуг. Всего 30 билетов (осталось уже 15), стоимость офлайн-билета 990 руб. Онлайн-трансляция и запись, разумеется, тоже будет — бесплатно для подписчиков Epic Growth PREMIUM.

Узнать больше и купить билет

Как Flo монетизирует уснувших пользователей, а SkyEng автоматизирует продажи

⚡️ Сделка на 1,5 млрд — встреча с Евгением Лисовским
Сегодня в 19.00 проведем Q&A с Женей Лисовским, CEO Maps.me. Офлайн в Москве, в Рабочей Станции Балчуг, стоимость — 990 руб. Онлайн-трансляция и запись — бесплатно для подписчиков Epic Growth PREMIUM.
Узнать подробности

🗓 Добавить в календарь

⚡️ Как команды Flo, SkyEng, Scentbird и 7shifts работают с продуктовой аналитикой
Новая серия SEASONS 17 ноября! В программе:
— «Как поддерживать постоянный рост через монетизацию уснувших пользователей»;
— «Как автоматизировать продажи, не создавая проблем для пользователей»;
— «Как лучше настроить сквозную аналитику и моделировать рост»;
— «Unlocking the power of Product Analytics to grow your business».
Узнать подробности

🗓 Добавить в календарь

⚡️Воркшоп: как определить ключевые метрики продукта?
18 ноября в 18.30 — воркшоп Антона Елфимова, на котором за 2 часа вы научитесь определять ключевые метрики в продукте, правильно их считать и принимать качественные решения.
Узнать подробности

🗓 Добавить в календарь

Все ивенты доступны в подписке PREMIUM. Оформить подписку и получить безлимитный доступ ко всем докладам + еженедельное обновление контента https://bit.ly/epic-sub

Как команда Scentbird увеличила базу активных подписчиков на 38% с помощью модели роста

Как будет расти наш продукт? Если вы получаете разные ответы на этот вопрос внутри команды, у вас нет единого вектора роста.

Лучший ответ — общая модель роста компании. Она позволяет не только сформировать единое направление роста, но и тестировать выбранные каналы, рассчитывать их масштабируемость, строить модель доходов и расходов, рассчитывать ROI.

В основе количественной модели лежит система атрибуции. Она позволяет понять, из какого канала пришел пользователь, а также рассчитать LTV и ROI как для отдельных каналов, так и в целом.

После того, как вы настроили систему атрибуции, вы можете собирать данные и строить таблицу по месяцам. В таблице обычно фиксируется канал, объем инвестированных средств, количество привлеченных пользователей, LTV и общий Revenue.

Благодаря своему подходу к моделированию роста команде Scentbird удалось увеличить базу активных подписчиков на 38% за первые три квартала 2020 года. Сегодня в новой серии SEASONS Мария Атаманова, Growth Group Head ex-Scentbird, поделится этим кейсом и расскажет, как настроить сквозную аналитику и моделировать рост.

Сегодня в программе SEASONS:
— «Как поддерживать постоянный рост через монетизацию уснувших пользователей» Дима Золотухин, Head of Analytics Flo;
— «Как автоматизировать продажи не создавая проблем для пользователей», Дима Бормотов, продукт-менеджер SkyEng;
— «Unlocking the power of Product Analytics to grow your business», Phil Corson Senior Product Manager 7shifts.

Стартуем в 18.30. Регистрация https://bit.ly/episode5-seasons

Стартовал доклад Дмитрия Золотухина, Head of Analytics Flo «Как поддерживать постоянный рост через монетизацию уснувших пользователей».

Присоединяйтесь!

Как определить ключевые метрики продукта

Рост и развитие любого продукта опирается прежде всего на данные, и их нужно уметь анализировать. Но что часто происходит? Продакты подсматривают метрики других продуктов и начинают анализировать все подряд — от DAU, MAU до средней продолжительности сессии. Это убивает кучу времени и не дает долгосрочных результатов.

Например, многие трекают MAU (Monthly Active Users), хотя этот показатель не объясняет, почему активных пользователей стало больше или меньше в этом месяце. Влиять на рост через измерение MAU сложно.

Кто-то заморачивается с измерением соотношения DAU/MAU (так называемый, stickiness продукта — как часто пользователи взаимодействуют с вашим продуктом), в то время как этот показатель имеет смысл только для продуктов с высокой частотностью использования (месенджеры, соцсети, иногда игры).

Чтобы принимать эффективные решения по продукту, нужно понимать метрики вашего продукта, правильно измерять их и интерпретировать. Хватит терять время, анализируя метрики, которые не дадут вам роста!

Сегодня в 18.30 пройдет воркшоп Антона Елфимова, эксперта и трекера команд роста в Growth Academy. Будем учиться определять ключевые метрики в продукте, правильно их считать и принимать качественные решения.

Регистрируйтесь https://bit.ly/elfimov

Корпоративная подписка для вашей команды

Хотим напомнить, что у нас есть корпоративные тарифы на Epic Growth PREMIUM!

Теперь вы можете оформить подписку с большой экономией! Например, корпоративный доступ на 25 человек будет стоить всего 350 руб. на человека в месяц (🔥 экономия более 50%). Корпоративные тарифы можно приобрести для трёх и более человек.

Если вы работодатель, корпоративная подписка PREMIUM — это отличная возможность обучать своих сотрудников. В подписке PREMIUM — кейсы, стратегии и практики от топовых компаний.

Как сотрудник, вы можете сами предложить работодателю оплатить корпоративный тариф. От новых знаний команды выигрывает сама компания. Мы подготовили шаблон для письма руководителю — пользуйтесь.

C корпоративной подпиской вы получаете:
— безлимитный доступ к кейсам роста от топовых компаний со всего мира;
— новые кейсы каждую неделю;
— возможность общаться в закрытом чате с коллегами по индустрии;
— Q&A с экспертами.

Платите меньше, а получайте больше. Впереди — еще больше эксклюзивного контента и крутых спикеров.

Оформить корпоративный тариф — https://bit.ly/corporate-premium

Мир, который изменился навсегда

Есть две темы для горячих споров относительно новой реальности: переход на удаленку и возможности для бизнесов в онлайне. Оптимисты говорят, что удаленка повышает продуктивность работников, а онлайн открывает много новых возможностей для бизнеса.

В канале @groks мы нашли цифры, которые говорят обратное. Сам автор тоже делится своими мыслями по этому поводу. Вот некоторые из них:

— Глобальный трудовой доход просел на 10.7% или $3.5 триллиона за первые три квартала 2020 года YoY.

— Сан-Франциско переживает самый тяжёлый финансовый кризис за последние десятилетия: дефицит бюджета, сокращение налоговых поступлений на 43%, снижение загрузки отелей на 86%, увеличение доли свободных офисных площадей до 14%, десятки тысяч безработных. Онлайн-продажи выросли только на 1%.

— Удаленная работа подходит далеко не всем. Например, основатель и глава Netflix заявил, что не видит в удалённой работе ничего положительного.

— Многие компании Долины с помощью удаленки просто режут косты, потому как обеспечивать жизнь сотрудникам в Калифорнии стоит безумного дорого. Индексировать зарплаты в зависимости от новой локации сотрудников — гораздо более годное решение.

Про глобальные события в технологическом секторе — канал @groks. Можно найти много крутых исследований и показательных фактов. Для тех, кто любит анализировать факты, а не верить на слово. Рекомендуем подписаться.

Исследования рынка: ответы Head of Market Research в Skyeng

Мы продолжаем делиться ответами на вопросы, которые вы задаете спикерам в прямых эфирах SEASONS. Напоминаем, что в прямом эфире IT-сериала SEASONS у вас есть возможность задать вопросы по теме докладов. Если вопросов слишком много, мы передаем их спикеру, а затем публикуем ответы письменно.

Вопросы к Михаилу Козюлину, Head of Market Research, Skyeng:

1. Как объективно интерпретировать результаты исследования?

Хорошая практика в User Research — сначала формулировать гипотезу, а затем проверять именно ее. До начала исследований важно сформулировать, что «если Х > Y, то запускаем, иначе не запускаем». Надо проговаривать критерии успеха или принятия какого-то решения. Если исследование количественное, проверяйте статистическую значимость. Отдельная тема с опросами — формируйте правильные выборки, так как от этого сильно зависит результат.

Еще одна важная часть исследований — кроссчеки. В SkyEng при расчетах рынков всегда мы всегда стараемся получить цифру 2-3 способами (сверху/снизу/инсайты/готовые исследования), это дает диапазон.

При анализе результатов полезно задавать вопрос «почему». Результаты рождают вопросы, а вопросы рождают задачи для дополнительного исследования.

2. Сколько человек должны делать рисерч нового рынка? Сколько человек в Research команде SkyEng?

Исследование международного рынка в SkyEng делали 3 человека в течение 3-4 недель. Основное время в команде 6 человек, включая меня. За квартал один рисерчер берет на себя примерно 3-4 больших проекта. Например, полное исследование под ключ для нового запускающегося направления — объем рынка, сегментация, динамика, основные продукты и форматы, основные конкуренты, их выручка, продукты, стратегия, касдевы клиентов нашего продукта и касдевы клиентов конкурентов, поиск экспертов, интервью с ними, интервью с сотрудниками конкурентных компаний, иногда составление какой-то модели.

3. Какой профиль у Research команды?

Профиль у ребят очень разный. Это важно, чтобы члены команды дополняли друг друга и были суперкомандой, универсальными солдатами. У нас в команде есть два человека с экономическим образованием и опытом в аналитике/финансах, они хорошо разбираются в финансовой отчетности публичных компаний, отлично строят модели, быстро анализируют большие массивы данных (например гос. статистику), могут и с базами данных работать. Есть человек, у которого отличные софт скиллы, он хорошо общается с рынком, делает крутые презентации, хорошо анализирует продукты других компаний, строит CJM, ищет новости и готовые исследования. Есть сотрудник с PHD, знает несколько языков, жил в Китае, у него классно получается анализировать международные компании (главная ценность — в анализе китайских компаний), он приносит инсайты о новых продуктах, трендах рынка, организует Mystery shopping, проводит касдевы.

Важно, чтобы в исследования был вовлечен бизнесовый человек, который умеет работать по правилу Паретто, отсекает лишнее, мотивирует делать быстрые MVP вместо огромных точных исследований, ставит перед рисерчерами вопросы и проблемы, челленджит результаты. Это может быть заказчик или тимлид.

Должен быть жесткий скоринг входящих задач для исследователей, нужно челленджить «какую проблемы мы решаем», «как будет использован результат исследований», «что будет, если мы не сделаем это исследование». Надо отсекать небизнесовые заказы, задачи с маленьким выхлопом и несрочные задачи.

4. Как вы проводите Market Research: какие инструменты используете, какую методологию?

Когда берем новый рынок, методика такая:
— сегментировать;
— посчитать размер всех сегментов (деньги и клиенты);
— посчитать размер онлайна (деньги и клиенты);
— проанализировать основных конкурентов в каждом сегменте;
— найти готовые исследования.

Как анализируем конкурентов:
— читаем новости/статьи/интервью о них (digital компании раскрывают очень много цифр в статьях);
— смотрим финансовую отчетность (если публичная);
— ищем исследования, в которых есть анализ этих компаний;
— проходим их воронку, детально изучаем сайт, FAQ, иногда оферта дает инфу;
— иногда покупаем и тестим продукт или находим активных клиентов и просим дать доступ в ЛК, заказываем Mystery shopping, строим CJM воронки и продукта, делаем таблицу сравнения функциональности конкурентов;
— анализируем отзывы (часто делаем количественный анализ, то есть бьем все отзывы на 100-200 единиц негатива и группируем, выявляя основные слабые места);
— часто проводим касдевы клиентов конкурентов (просто в ФБ спрашиваем кто учился в школе N);
— используем инструменты анализа сайта и приложения, типа Similarweb и Appannie;
— если конкурент нам важен, стараемся пообщаться с 2-3 сотрудниками компании, задать вопросы о рынке, конкурентах и их компании;
— узнаем, есть ли какие-то инсайты о компании у топов, фаундеров, инвесторов SkyEng.

5. Какие User Research вы проводили (опросы, интервью и т.д.)?

Я руководитель отдела Market Research, а для User Research у нас есть отдельная горизонталь (советую поискать выступления/статьи Владимира Баяндина, который ее строил). Эта горизонталь — мировые эксперты в касдевах и количественных исследованиях, они умеют делать конвейер исследований очень высокого качества, с минимизацией ошибок.

Наш отдел обычно ориентирован на новые запуски и скорость, поэтому мы можем позволить себе ошибаться в методологии и точности в пользу быстрого результата. Юзер рисерч мы используем как один из инструментов, чтобы быть фулстеками и делать свои задачи под ключ. Для масштабных исследований, когда вертикаль начинает разрастаться, функции юзер рисерча передаются горизонтали.

Смотреть полную серию SEASONS на тему UX Research

Черная пятница в Epic Growth PREMIUM

Такого еще не было! С 23 по 29 ноября оформите подписку PREMIUM со скидкой до 70% и получите скидку навсегда!

Это предложение актуально, даже если у вас уже оформлена подписка — продлите подписку на год со скидкой 70%.

Если у вас нет активной подписки, то сейчас — самое время ее оформить и платить меньше всегда! Что включено в подписку:
⚡️ Топовый контент. 150+ докладов по тематике growth, маркетинга, аналитики и личной эффективности. Еженедельное обновление контента!
⚡️ IT-сериал SEASONS. Новый формат: видеокейсы от экспертов по росту. Доклады по 10-15 минут — максимум пользы и мясных инсайтов.
⚡️ Закрытый чат и нетворкинг. Epic Growth — крупнейшее русскоязычное сообщество про развитие продуктов в СНГ. А сообщество — это лучший учитель.
⚡️ Q&A с экспертами. Мы приглашаем основателей компаний и ведущих экспертов на прямые эфиры и Q&A.

Оформить подписку с вечной скидкой до 70% https://bit.ly/epic-black

Как ускорить A/B тесты в 10-100 раз

Основное применение A/B тестов — тестировать гипотезы. Чем больше гипотез вы тестируете, тем больше шансов у вашего продукта кратно расти. Проблема в том, что время на проведения тестов варьируется от нескольких недель до нескольких лет. Это может замедлять рост.

Разберем проблему на кейсе сервиса Яндекс.Советник. Долгое время основной метрикой сервиса был Click Rate, а затем — Conversion rate. Покупок всегда очевидно меньше, чем кликов, поэтому для проведения тестов нужно гораздо больше трафика. На практике это значит, что продолжительность A/B тестов может вырасти с нескольких недель до нескольких лет. Это не то, чему обычно радуются бизнес-заказчики.

Решение: найти более чувствительную метрику, которая будет прокрашиваться не за несколько лет, а за несколько недель. Сделать это можно с помощью линеаризации.

Завтра в 18.30 стартует новая серия SEASONS. Одним из спикеров выступит Валерий Бабушкин, Director of Data Science в X5 Retail Group. Он расскажет, как с помощью линеаризации ускорить A/B тесты в 10-100 раз, а также поделится кейсом Яндекс. Советника, как это помогло увеличить конверсию.

Серия SEASONS пройдет в подписке Epic Growth PREMIUM. Регистрация https://bit.ly/seasons-episode6

A/B тесты и метрики экспериментов

Рост вашего продукта сильно зависит от того, насколько быстро вы тестируете гипотезы. Один из самых популярных способов проводить эксперименты — A/B тесты. Они помогают понять, как продуктовые изменения влияют на ключевые метрики роста.

Просто проводить A/B тесты — недостаточно для того, чтобы продукт демонстрировал кратный рост. Важно уметь проводить их быстро, системно и регулярно.

Сегодня в новой серии SEASONS эксперты из Booking.com, Verv, X5 Retail Group и др. будут делиться своими кейсами в работе с A/B тестами.

В программе:
— «Как Verv изменили процесс A/B тестирования и увеличили эффективность в 5 раз»;
— «Кейс Booking.com: как определить выигрышный вариант A/B теста в 10 раз быстрее»;
— «Как проводить A/B тесты на малом объёме данных» кейс от Александра Горного;
— «Как ускорить A/B тесты в 100 раз с помощью линеаризации».

Доклады по 10-15 минут от топовых спикеров-практиков.

Начинаем в 18.30. Регистрация https://bit.ly/seasons-experiments

Доклад Александра Горного «Как проводить A/B тесты на малом объеме данных» уже стартовал.

Совсем скоро ответы на вопросы:
— как определить выигрышный вариант A/B теста в 10 раз быстрее;
— как ускорить A/B тесты в 100 раз с помощью линеаризации.

Подключайтесь!

Как Netflix проводит митинги по продуктовой стратегии

Ключевая задача Head of Product — помогать команде сохранять фокус на продуктовой стратегии. Но чем больше компания, тем сложнее это сделать.

В какой-то момент роста с такой проблемой столкнулись и в Netflix. Тогда они решили проводить ежеквартальные митинги по стратегии продукта, чтобы вся команда была максимально в контексте.

Вот несколько хаков от Netflix, как командам проводить такие стратегические встречи:

1) Сформировать продуктовую стратегию компании с помощью DHM-подхода (delight, hard to copy, margin). Подробнее об этом ex-VP Product Netflix говорил в этом докладе.

2) При создании стратегии соблюдать сочетание оптимизации (эксперименты, которые могут сдвинуть ключевые показатели на 5–20%) и инноваций (то, что может улучшить показатели в 10-100 раз). Большинство команд слишком много внимания уделяют оптимизации и мало — крупным ставкам.

3) Разложить стратегию step-by-step. Члены команды должны понимать, что не все запланированное должно происходить сразу. Продукт растет «волнами». Секрет в том, чтобы создать следующую волну роста до того, как рухнет первая.

4) Обозначить high-level метрику. Netflix брал показатель Monthly Retention. Когда они впервые запустили подписку, почти 10% подписчиков отменяли ее каждый месяц. Сегодня это 2%.

5) При необходимости разбить продуктовые команды в отдельные «дорожки для плавания». Например, в Netflix несколько человек из команды занимались Personalization, другие — Search, кто-то — Streaming, и т.д. Каждой «дорожке» назначается руководитель, который определяет стратегию, тактику и показатели для своей плавательной дорожки.

6) За день до митинга ответственные публикуют свою краткую презентацию в Google Documents или Slides, чтобы все участники могли заранее прочитать материал и оставить комментарии в документе. Во время митингов важно ответить на все комментарии в документе.

7) В документе с предварительной работой должны быть high-level метрика, стратегия, step-by-step шаги, гипотезы для тестирования, ключевые результаты и извлеченные уроки.

8) Важно, чтобы на митинге было место для неуспешных кейсов. Чем больше ваша компания претендует на инновационность, тем более терпимым нужно быть к неудачам.

Чем лучше вы проводите митинги по стратегии продукта, тем быстрее будет двигаться команда и тем меньше времени будет тратиться на согласование друг с другом.

Оригинал статьи: https://medium.com/@gibsonbiddle/how-to-run-a-quarterly-product-strategy-meeting-a-board-meeting-for-product-3a14c4d53d1b

Customer Journey Map: 7 работающих стратегий

Как чаще всего используют CJM? Построили схему, нашли проблемы пользователей, начали их хаотично решать, забросили.

Никита Ефимов, CPO в UXPressia Academy поделился стратегиями, как работать с CJM, чтобы генерировать новые гипотезы на всем пути пользователя.

1) Предотвращение проблем. Вы строите CJM и находите на карте проблемы пользователей. Но прежде чем решать проблемы, задайте вопрос: могу ли я их предотвратить?

Пример: продукт — доставка еды по подписке. Проблема пользователей — контейнеры не влезают в холодильник. Решение — указывать количество и размеры контейнеров при заказе, чтобы человек успел подготовиться.

2) Работа с удовлетворенностью. Если невозможно решить проблему здесь и сейчас (сложно, дорого, технически невозможно), нужно улучшить эмоциональные ощущения пользователя от полученного опыта. Эта стратегия подходит только для краткосрочной перспективы.

Пример: продукт — доставка еды по подписке. Проблема — курьер опаздывает. Решение — добавить к заказу уникальный рецепт, который можно приготовить из доступных продуктов.

3) Работа с ожиданиями пользователя. Когда вы построили CJM и все шаги пользователя стали прозрачны, легче понять, на каком из этапов можно дать больше, чем клиент ожидает.

Пример: продукт — образовательный онлайн-курс. Пользователь прошел онлайн-курс и ожидает получить сертификат об окончании обучения. Бонус в виде электронного конспекта всех занятий — это выше ожиданий клиента.

В рамках этой же стратегии можно корректировать завышенные ожидания пользователей на предыдущих этапах взаимодействия.

Ещё больше стратегий с примерами смотрите в полной версии доклада https://bit.ly/cjm-efimov