Дискурсивный и семантический анализ диалогов с генеративными ИИ: практика самоанализа и конструирование внутреннего диалога
Исследовательская работа
Внедрение генеративных ИИ во все сферы человеческой деятельности становится значимым феноменом — и психология не является исключением. Пользователи обращаются к ИИ с разными целями: кто-то хочет получить конкретный совет, кто-то — разобраться в себе, кто-то — просто выговориться. Однако до сих пор остаётся неясным, как именно устроены эти диалоги: какие типы запросов формулируют пользователи, какие роли они приписывают ИИ, какие ответы ИИ можно считать соответствующими типу запроса.
Цель работы — выявить и описать дискурсивные и семантические механизмы, которые возникают в диалоге между пользователем и генеративным ИИ, конструируя практику "психологической поддержки", а также способы репрезентации самоанализа и внутреннего диалога в рамках этого взаимодействия. На основе полученной типологии пользовательских запросов провести анализ существующих бенчмарков для ИИ-психологов и определить, учитывают ли они конгруэнтность ответа типу запроса.
Объект исследования — пользовательские дискурсивные практики взаимодействия с генеративными ИИ в контексте ментального здоровья и самоанализа, зафиксированные в постах и комментариях на Reddit.
Предмет исследования — дискурсивные и семантические средства, используемые пользователями при описании и конструировании взаимодействия с ИИ (включая сами промпты и рефлексию о диалогах), а также способы конструирования внутреннего диалога через это взаимодействие.
Цель работы — выявить и описать дискурсивные и семантические механизмы, которые возникают в диалоге между пользователем и генеративным ИИ, конструируя практику "психологической поддержки", а также способы репрезентации самоанализа и внутреннего диалога в рамках этого взаимодействия. На основе полученной типологии пользовательских запросов провести анализ существующих бенчмарков для ИИ-психологов и определить, учитывают ли они конгруэнтность ответа типу запроса.
Объект исследования — пользовательские дискурсивные практики взаимодействия с генеративными ИИ в контексте ментального здоровья и самоанализа, зафиксированные в постах и комментариях на Reddit.
Предмет исследования — дискурсивные и семантические средства, используемые пользователями при описании и конструировании взаимодействия с ИИ (включая сами промпты и рефлексию о диалогах), а также способы конструирования внутреннего диалога через это взаимодействие.
Актуальность исследования в контексте Digital Humanities
Исследование новой цифровой практики – массовое обращение к ИИ как к “психологу” формирует новый тип дискурса, который требует осмысления.
Комплексный анализ – работа на стыке количественных методов и качественной интерпретации.
Кросс-дисциплинарный диалог – анализ языка, психологии и технологий в единой цифровой гуманитарной рамке.
Исследование новой цифровой практики – массовое обращение к ИИ как к “психологу” формирует новый тип дискурса, который требует осмысления.
Комплексный анализ – работа на стыке количественных методов и качественной интерпретации.
Кросс-дисциплинарный диалог – анализ языка, психологии и технологий в единой цифровой гуманитарной рамке.
Задачи исследования
1. Проведение обзора литературы по использованию генеративных ИИ для ментальной поддержки, выделение ключевых понятий и неисследованных областей.
систематизация существующих эмпирических исследований и теоретических подходов. Определение уже изученных аспектов диалогов с ИИ и выявление пробелов (в частности, отсутствия анализа конгруэнтности ответов типу запроса.)
2. Разработка методики анализа пользовательских нарративов на основе фреймовой семантики.
адаптация фреймовой семантики Ч. Филлмора для анализа пользовательских нарративов.
3. Формирование выборки пользовательских нарративов для анализа.
отбор постов и комментариев на Reddit за 2024–2026 гг. с развёрнутым описанием диалога с ИИ и оценкой опыта (помогло / не помогло). Анонимизация и структурирование данных для последующего анализа.
4. Фреймовое кодирование и дискурсивный анализ нарративов с выделением трёх типов запросов — инструментальных, рефлексивных, экспрессивных.
определение доминирующего фрейма для каждого нарратива на основе трёх вопросов. Выделение с помощью Voyant Tools ключевых слов, коллокаций и семантических полей для каждого типа запросов. Эмпирическое обоснование трёх типов пользовательских интенций.
5. Оценка существующих бенчмарков для ИИ‑психологов с позиции конгруэнтности и типологии запросов.
анализ существующих бенчмарков по трём критериям: различение типов запросов, наличие метрики конгруэнтности, учёт эмпатии в связке с типом запроса. Систематизация результатов в сводной таблице.
6. Формулировка рекомендаций для разработчиков и направлений улучшения бенчмарков.
определение конкретных шагов по доработке существующих систем. Обозначение перспектив создания нового бенчмарка, ориентированного на типологию фреймов и метрику конгруэнтности.
систематизация существующих эмпирических исследований и теоретических подходов. Определение уже изученных аспектов диалогов с ИИ и выявление пробелов (в частности, отсутствия анализа конгруэнтности ответов типу запроса.)
2. Разработка методики анализа пользовательских нарративов на основе фреймовой семантики.
адаптация фреймовой семантики Ч. Филлмора для анализа пользовательских нарративов.
3. Формирование выборки пользовательских нарративов для анализа.
отбор постов и комментариев на Reddit за 2024–2026 гг. с развёрнутым описанием диалога с ИИ и оценкой опыта (помогло / не помогло). Анонимизация и структурирование данных для последующего анализа.
4. Фреймовое кодирование и дискурсивный анализ нарративов с выделением трёх типов запросов — инструментальных, рефлексивных, экспрессивных.
определение доминирующего фрейма для каждого нарратива на основе трёх вопросов. Выделение с помощью Voyant Tools ключевых слов, коллокаций и семантических полей для каждого типа запросов. Эмпирическое обоснование трёх типов пользовательских интенций.
5. Оценка существующих бенчмарков для ИИ‑психологов с позиции конгруэнтности и типологии запросов.
анализ существующих бенчмарков по трём критериям: различение типов запросов, наличие метрики конгруэнтности, учёт эмпатии в связке с типом запроса. Систематизация результатов в сводной таблице.
6. Формулировка рекомендаций для разработчиков и направлений улучшения бенчмарков.
определение конкретных шагов по доработке существующих систем. Обозначение перспектив создания нового бенчмарка, ориентированного на типологию фреймов и метрику конгруэнтности.
Методология и теоретические рамки
Исследование базируется на фреймовой семантике Ч. Филлмора как основном методе анализа. В рамках этой теории под фреймом понимается типовая когнитивная структура, отражающая стереотипную ситуацию, которая активируется в сознании при восприятии языка.
В контексте данного исследования фрейм — это типовая коммуникативная ситуация, описываемая пользователем в нарративе, которая проявляется через три ключевых параметра: роль, которую пользователь приписывает ИИ; эффект, который описывается как главный результат взаимодействия; и доминирующая лексика, используемая в рассказе.
Методы исследования:
В контексте данного исследования фрейм — это типовая коммуникативная ситуация, описываемая пользователем в нарративе, которая проявляется через три ключевых параметра: роль, которую пользователь приписывает ИИ; эффект, который описывается как главный результат взаимодействия; и доминирующая лексика, используемая в рассказе.
Методы исследования:
- Фреймовая семантика (Ч. Филлмор)— основной метод, позволяющий классифицировать пользовательские нарративы по трём типам фреймов (инструментальный, рефлексивный, экспрессивный) на основе трёх аналитических вопросов (роль ИИ, эффект, лексика).
- Корпусный семантический анализ (Voyant Tools)— используется для выделения частотных слов и семантических полей (облаков слов) для каждого из трёх типов фреймов.
- Сравнительный анализ бенчмарков— оценка существующих систем оценки качества ИИ по трём критериям: различение типов запросов, наличие метрики конгруэнтности, учёт эмпатии в связке с типом запроса.
Основные теоретические понятия:
Терапевтическое выравнивание (therapeutic alignment)— степень, в которой поведение LLM соответствует ценностям и практикам, способствующим психологической помощи. В работе операционализируется через три критерия: эмпатия и валидация чувств, активное слушание и уточнение контекста, отсутствие директивных, вредных или шаблонных советов.
Конгруэнтность — совпадение типа ответа ИИ с типом запроса пользователя: инструментальный запрос требует совета или инструкции, рефлексивный — открытых вопросов и перефразирования, экспрессивный — эмпатии и принятия без попыток решить проблему.
Бенчмарк– стандартизированный набор тестовых заданий и метрик, позволяющий объективно сравнивать качество работы разных моделей ИИ по заданным параметрам. В данном исследовании анализируются MULTI, CAPE, MindEval, TherapyGym, HEART, LLM-as-a-judge.
Этапы работы
Этап 1. Теоретическая подготовка
Этап 1. Теоретическая подготовка
Проведён систематический обзор ключевых эмпирических исследований: мета-анализы эффективности ИИ-чатботов, сравнение ответов терапевтов и чат-ботов с использованием шкалы MULTI, экспертные оценки рисков, пользовательские опросы и тематический анализ отзывов, обзор эволюции архитектур.
Систематизированы ключевые понятия: фрейм, терапевтическое выравнивание, конгруэнтность, бенчмарки. Освоена фреймовая семантика как основной метод анализа.
Систематизированы ключевые понятия: фрейм, терапевтическое выравнивание, конгруэнтность, бенчмарки. Освоена фреймовая семантика как основной метод анализа.
Этап 2. Сбор и формирование выборки пользовательских нарративов
Этап 2. Сбор и формирование выборки пользовательских нарративов
Сбор постов на Reddit по ключевым словам: "my experience with ChatGPT", "AI as a therapist", "ChatGPT therapy", "using AI for mental health". Использованы сабреддиты: r/ChatGPT, r/MentalHealthSupport, r/CharacterAI, r/replika, r/OpenAI. Хронологический диапазон: 2024–2026 гг.
Отбор 50 развёрнутых нарративов по критериям: минимум 3–4 предложения, наличие описания конкретного взаимодействия с ИИ, наличие явной или косвенной оценки опыта (помогло / не помогло, стало легче / разочаровался). Все данные анонимизированы.
Проблема: большая часть найденных постов были односложными или не содержали оценки взаимодействия.
Решение: ужесточение критериев отбора (исключение односложных комментариев), ручная фильтрация, уточнение поисковых запросов для отсева технических обсуждений.
Отбор 50 развёрнутых нарративов по критериям: минимум 3–4 предложения, наличие описания конкретного взаимодействия с ИИ, наличие явной или косвенной оценки опыта (помогло / не помогло, стало легче / разочаровался). Все данные анонимизированы.
Проблема: большая часть найденных постов были односложными или не содержали оценки взаимодействия.
Решение: ужесточение критериев отбора (исключение односложных комментариев), ручная фильтрация, уточнение поисковых запросов для отсева технических обсуждений.
Каждый нарратив закодирован по доминирующему фрейму на основе трёх аналитических вопросов:
- Какую роль пользователь приписывает ИИ? (решает проблемы, проводник для самоанализа, слушатель)
- Какой эффект описывается как главный? (решение проблемы, инсайт, эмоциональная разрядка)
- Какая лексика преобладает? (советы и инструкции / вопросы и рефлексия / эмоциональные высказывания)
Этап 3. Анализ бенчмарков
Этап 3. Анализ бенчмарков
Систематизированы шесть релевантных бенчмарков для оценки ИИ в психотерапии: MULTI (кодирование терапевтических техник), CAPE (оценка эмпатии), MindEval (клиническая компетентность), TherapyGym (КПТ-интервенции), HEART (оценка диалогов по шкалам), LLM-as-a-judge (автоматическая оценка одной LLM другой).
Сформулированы три критерия оценки на основе результатов фреймового анализа:
Сформулированы три критерия оценки на основе результатов фреймового анализа:
- Различение типов запросов— способность бенчмарка идентифицировать инструментальные, рефлексивные и экспрессивные запросы.
- Наличие метрики конгруэнтности— оценивает, совпадает ли тип ответа ИИ с типом запроса.
- Учёт эмпатии и активного слушания в связке с типом запроса— например, высокая эмпатия важна для экспрессивных запросов, но не критична для инструментальных.
Этап 4. Выводы рекомендации
Этап 4. Выводы рекомендации
Ключевые выводы исследования:
- Пользователи обращаются к генеративным ИИ с тремя принципиально разными целями: получить совет (инструментальный), понять себя (рефлексивный) или выговориться (экспрессивный). Эти три типа фреймов эмпирически подтверждены на материале 50 реальных нарративов.
- Ключевым фактором успешности диалога является конгруэнтность — ответ ИИ должен соответствовать типу запроса (совет на инструментальный, вопросы на рефлексивный, эмпатия на экспрессивный). Существующие бенчмарки этого не учитывают.
- Ни один из существующих бенчмарков для ИИ-психологов не оценивает конгруэнтность и не различает типы запросов, что делает их неполными для оценки терапевтического выравнивания.
- Разработанная типология фреймов и метрика конгруэнтности могут стать основой для создания нового бенчмарка.
Области будущего применения работы:
- Расширение методологии на другие сферы – разработанный подход может быть адаптирован для изучения взаимодействия человека с ИИ в других областях.
- Помощь психологам в работе с клиентами – полученные данные о ролях ИИ и семантических полях позволяют специалистам лучше понимать опыт пациентов, использующих ИИ для самоанализа, и давать обоснованные рекомендации.
- Повышение цифровой грамотности пользователей – на основе типологии фреймов и критериев выравнивания можно создавать образовательные материалы для безопасного и осознанного применения ИИ в целях ментальной поддержки.
- Этическая экспертиза – предложенная шкала может лечь в основу стандартов оценки и маркировки чат-ботов, позиционирующих себя в области психологической помощи.
- Новые исследовательские направления – собранные корпусы и апробированная методика открывают возможность для сравнительного анализа разных LLM, кросс-культурных исследований диалогов “человек – ИИ”.
- Промежуточный продукт для психологов (мост между лингвистикой и психологией) – психологи часто не знают, какие параметры текста запрашивать у компьютерной лингвистики; данное исследование предоставляет им операционализированные категории (фреймы, шкала выравнивания, методика сбора диалогов), которые могут быть использованы в их практике без специальной лингвистической подготовки.
Автор исследования
- Брыкля СофьяИсследовательница
Университет ИТМО, программа магистратуры «Цифровые методы в гуманитарных исследованиях» (Digital Humanities)