Тридцать отзывов полезно прочитать самостоятельно. Четырнадцать тысяч текстов человек уже не удержит в голове. Языковая модель помогает сделать первичный срез, если заранее отделить смысловую задачу от точного подсчёта.
Сначала сократите файл до нужных полей
На учебном примере использовался массив из 14 000 отзывов об образовательных организациях. Полная выгрузка содержала служебные поля, ссылки и метаданные. Для смыслового анализа достаточно текста отзыва и оценки.
Лишние столбцы занимают контекстное окно и отвлекают модель. Перед загрузкой удалите имена, телефоны, адреса электронной почты и другие персональные данные. Оставьте только информацию, которая действительно нужна для вопроса.
Языковая задача подходит модели
Модель хорошо ищет повторяющиеся темы, объединяет близкие формулировки и предлагает категории. Например, расписание, понятность объяснения, оборудование, обратная связь и организация занятий.
Запрос должен задавать рамку результата. Попросите выделить до восьми категорий, привести по два обезличенных примера и отдельно перечислить сообщения, которые не удалось уверенно отнести к группе.
Числа считайте специализированным инструментом
Точный итог по оценкам, месяцам и филиалам лучше получать в Excel, DataLens или другой аналитической системе. Языковая модель работает с вероятным продолжением текста и может ошибиться в арифметике.
Удобная связка состоит из двух этапов. Модель создаёт словарь категорий. Таблица применяет этот словарь и считает строки. Результат можно повторить и проверить.
Проверьте выборку вручную
- Возьмите несколько случайных отзывов из каждой категории.
- Сверьте исходный текст с названием группы.
- Отдельно посмотрите редкие и критические сообщения.
- Повторите анализ с теми же правилами и сравните расхождения.
Цена ошибки задаёт глубину контроля. Для поиска общей темы достаточно выборочной проверки. Решение о сотруднике, возврате или безопасности требует чтения первичных сообщений ответственным человеком.
Сформулируйте итог как рабочее действие
Список популярных слов редко помогает руководителю. Полезный отчёт связывает тему с процессом. Сколько раз упоминается перенос занятия. Какие формулировки повторяются. Кто отвечает за уведомление. Как проверить изменение через месяц.
ИИ ускоряет сортировку большого массива. Ответственность за вывод и действие остаётся у человека, который знает организацию и видит исходные данные.
Один вопрос даёт один аналитический проход
Запрос «проанализируй всё» почти гарантирует общий ответ. Лучше разделить работу. Сначала найти основные темы. Затем отдельно изучить сообщения с низкой оценкой. После этого проверить один процесс, например переносы или обратную связь.
Для каждого прохода нужен свой результат. Таблица категорий, подборка примеров, список исключений или проект изменений. Такой формат легче проверить и использовать.
Словарь категорий нужно сохранить
Если анализ повторяется каждый месяц, названия групп и правила отнесения становятся отдельным документом. В нём указываются примеры, пограничные случаи и порядок работы с сообщениями, которые подходят сразу к двум темам.
Новый массив обрабатывается по тем же правилам. Тогда динамику можно сравнивать. Свободная генерация категорий при каждом запуске даст красивый отчёт и нестабильную методику.
Редкие сообщения читаются отдельно
Частота не равна важности. Один сигнал о безопасности может требовать большего внимания, чем сотня нейтральных комментариев о расписании. Поэтому критические темы задаются заранее и проверяются отдельным фильтром.
Финальный отчёт должен сохранять связь с исходным текстом. Ответственный сотрудник обязан открыть сообщение, проверить контекст и только после этого принимать решение.
Повторяемость важнее красивой формулировки
Сохраните запрос, версию модели, дату обработки и словарь категорий. Эти данные позволяют повторить анализ после появления нового массива. Без них два отчёта могут отличаться только из-за случайности генерации.
Для контрольного прогона используется одна и та же небольшая выборка. Если распределение заметно изменилось, сначала проверяются правила и версия инструмента. После этого обрабатывается весь файл.
Стабильный процесс даёт возможность сравнивать периоды. Однократный ответ модели остаётся полезной гипотезой и требует дополнительной проверки.
Материал подготовлен по нормализованной записи лекции Алексея Борисова для работников образования.