Нейросети можно поручить первую разметку отзывов: выделить темы, отделить жалобу от пожелания и собрать примеры для проверки. Выводы нужно сверить с исходными сообщениями. Такой разбор помогает найти повторяющиеся затруднения, но сам по себе не показывает мнение всех покупателей и не доказывает причины падения продаж.
Я бы начинал с довольно приземлённого вопроса: что человеку было непонятно до покупки и что помешало после? Слова «плохой сервис» слишком широкие. За ними могут стоять перенос доставки, отсутствие ответа или вполне конкретная ошибка в комплектации. Исправлять придётся разные вещи.
Определите, какие отзывы вы разбираете
Сохраните источник, период и правила отбора. Отзывы о доставке собственного магазина и комментарии под рекламой конкурента нельзя незаметно сложить в одну группу и назвать мнением ваших клиентов.
Уберите контакты и другие сведения, которые не нужны для анализа. Используйте только данные, которые разрешено обрабатывать в выбранной системе. Каждому сообщению дайте внутренний номер: по нему проверяющий сможет вернуться к исходнику без переноса личных данных в сводку.
Отдельно пометьте повторы, ответы компании и сообщения, в которых вообще нет покупательского опыта. Решите, включаете ли вы их в разбор. Иначе один длинный спор легко превратится в десяток независимых жалоб.
Задайте категории, которые ведут к действию
Для мебельной тематики можно начать с выбора размеров, комплектации, сроков, доставки, сборки и общения. У одного отзыва бывает несколько тем. Положительный отзыв тоже может содержать проблему, а низкая оценка — не содержать объяснения.
Не заставляйте модель выбирать категорию любой ценой. Нужны варианты «недостаточно сведений» и «другая тема». Новую категорию добавляйте после чтения примеров, а не ради красивой диаграммы.
Ниже учебный набор, составленный для этой статьи. Это не отзывы наших клиентов и не результат исследования партнёрских магазинов.
| № | Учебное сообщение | Предварительная тема |
|---|---|---|
| 1 | «Не нашёл глубину шкафа, пришлось спрашивать» | Размеры |
| 2 | «Заказ приехал, но время доставки уточняли несколько раз» | Доставка |
| 3 | «Шкаф подошёл, размеры в карточке совпали» | Размеры |
| 4 | «Не понял, входят ли ручки в эту комплектацию» | Комплектация |
| 5 | «Курьер предупредил заранее, всё удобно» | Доставка |
| 6 | «В корзине не увидел стоимость подъёма» | Доставка |
| 7 | «Менеджер объяснил различие двух вариантов фасада» | Выбор и общение |
| 8 | «Всё понравилось» | Недостаточно сведений для конкретной темы |
Здесь доставка упоминается в 3 из 8 сообщений. Это не означает, что 3 человека недовольны доставкой: одно сообщение положительное, в другом вопрос касается стоимости услуги. Подсчёт темы и подсчёт проблемы — разные операции.
Тема доставки встречается в сообщениях № 2, 5 и 6. Но один пример положительный, а ещё один касается стоимости подъёма. Объединить их в три жалобы было бы ошибкой.
Попросите модель сохранить контекст
Полезный результат — таблица с номером сообщения, темой, конкретным затруднением или положительным наблюдением и коротким подтверждающим фрагментом. Рядом пусть будет отметка уверенности и вопрос, который нельзя решить из текста.
Пример задания:
Разбери обезличенные сообщения. Допускай несколько тем у одного сообщения. Не считай упоминание темы жалобой автоматически. Сохрани номер и фрагмент, на котором основана разметка. Не придумывай причину, если автор её не назвал. Для неопределённых случаев укажи, каких данных не хватает.
На учебном сообщении № 6 надо получить вопрос о стоимости подъёма в корзине. Вывод «курьеры работают плохо» из него не следует. Именно такие скачки от текста к объяснению стоит ловить при проверке.
Сохраняйте номер сообщения и фрагмент, который подтверждает разметку. Возможную причину оформляйте как гипотезу, если автор прямо её не назвал.
Проверьте разметку руками
Для небольшого набора прочитайте все сообщения. Для большого заранее выделите проверочную часть, включите туда разные источники, редкие темы и неопределённые случаи. Это даст представление об ошибках разметки, но не сделает исходную выборку представительной для всей клиентской базы.
Смотрите на пропущенные темы, неверный тон, потерянные отрицания и смешение нескольких авторов. Если меняете правила категорий, повторно прогоните сохранённые примеры. Сравнивать два периода с разными правилами будет трудно.
В отчёте оставьте размер набора, период, источники и ограничения. Формулировка «в этих сообщениях часто спрашивали о размерах» честнее вывода «главная проблема всех покупателей — размеры».
Выберите одно изменение и способ его проверить
Из учебного набора можно взять гипотезу: покупателю трудно найти сведения о дополнительных услугах. Первое действие — проверить реальные карточку и корзину, затем уточнить информацию там, где она нужна до оформления.
После изменения проверьте, можно ли до оформления найти стоимость подъёма и условия этой услуги. При наличии данных можно сравнить долю таких обращений в сопоставимом потоке. Уменьшение числа жалоб само по себе тоже неоднозначно: обращений могло стать меньше по другой причине.
Смысл разбора появляется, когда у находки есть ответственный и проверка. Яркая картинка с настроением аудитории может подождать. Выбор первой ограниченной задачи разобрал в статье про ИИ для бизнеса. Если хотите применить такой подход к своим разрешённым данным, можно обсудить процесс.