ошибки в образовательных ИИ-интерфейсах
ошибки в образовательных
ИИ-интерфейсах
В апреле DH-центр ИТМО провел круглый стол «Ошибки в образовательных ИИ-интерфейсах» в рамках междисциплинарной конференции «Векторы» наших коллег из Шанинки (МВШСЭ).

Мы собрали хайлайты мероприятия для тех, кто не смог к нам присоединиться. Делимся докладами Полины Колозариди и Марии Могилевич и расшифровкой дискуссии с экспертами из НИУ ВШЭ, SAS ТюмГУ и DH-центра ИТМО.
Не все ошибки одинаковы
доклад Полины Колозариди, к.с.н., директора DH-центра ИТМО
Когда Люси Сачмен говорит о реконфигурации отношений человек-машина, она имеет в виду, что мы изначально не всегда знаем, что является машинным, а что — человеческим. Я поясню это на примере: когда мы думаем о том, как технологии ИИ находят ошибки, то первая мысль здесь: «О, что-то меняется». Была ситуация, где ошибки в работе студента находит преподаватель, и преподаватель, казалось бы, единственная инстанция, от кого мы готовы слышать строгое или мягкое: «Нет, это неправильно. У вас двойка». Базовая структура образовательной системы предполагает, что человек, который говорит «тут ошибка" — это преподаватель. На самом деле, это уже давно и не всегда так.

Во-первых, мы десятилетиями живем в системе тестирования. Тестирование — формализованная работа, которую выполняют студенты и школьники. Ошибки здесь находит не преподаватель; преподаватель задает критерии. Само обнаружение ошибок лежит на людях (или системах), которые могут вообще не вникать в контекст ошибки (например, проверяющие тестовой части в ЕГЭ).

Возьмем структуру ЕГЭ как классификатор типов вмешательства или участия машин и людей в нахождении ошибок и оценивании (помня, что эти отношения нестабильны):

  • Часть, А — тест: Дальнейшая автоматизация работы с такими тестами происходит давно, началась задолго до ИИ. Тесты — изначально предполагают формализованную работу, где роль преподавателя в непосредственном обнаружении ошибки отчуждена. Он видит результат и может потом разобрать ошибки, но сам момент обнаружения — на системе или других проверяющих.
  • Часть Б — краткий ответ на вопрос: Статус ошибки здесь другой, он больше ориентирован на то, что человек прочитает и сможет понять её наличие или отсутствие.
  • Часть С — развернутый ответ на вопрос или текст: Здесь статус ошибки сложнее. Даже если задача решена неправильно, но ход рассуждений верный, оригинальный и ценный, баллы могут быть не нулевыми. Это касается не только гуманитарных, но и более «автоматизируемых» областей.

В обнаружении ошибок всегда были настроенные роли преподавателя и механики, ему не принадлежащие.

Еще один важный момент заключается в том, что образование не сводится к схеме «преподаватель обнаруживает ошибки — студенты их совершают». У многих был тот самый одноклассник, который сам обнаруживает ошибки: предлагает оригинальные решения, совершая формальные ошибки и при этом делая что-то новаторское. То есть человек занимается изобретательством путем допущения ошибок.

Какие проблемы в этом контексте ставит ИИ?

Первая проблема:
Возможность находить в ошибках что-то важное, что преподаватели иногда не могут сделать, потому что их задача — выправлять, создавать правила. Обращаясь к другим инструментам (например, корпусам языка, как Корпус русского языка), мы не только можем усиливать иерархию (очевидный риск, который вызывает понятную волну пессимизма), но и получаем возможность видеть ошибки как вариации локальных норм. Например, инструменты корпуса показывают, как ошибочные с одной точки зрения фразы, распространенные в определенный период, указывают на изменение языка (как «кофе» среднего рода стал нормой). Локальные нормы (петербургский «поребрик» vs московский «бордюр») тоже ставят вопрос: считать ли их ошибкой? ИИ помогает увидеть ошибки в этом контексте вариативности. Кто такие «мы» в этом случае — важный вопрос.

Вторая проблема (в противовес техно-оптимизму):
Базовый подход к созданию сложных технологических систем (включая ИИ) сводится к представлению любого процесса как постановки и решения задач. Кто ставит задачу в данном случае становится неважным. Любая механизация предполагает, что эту задачу или этот набор задач нужно решать — это наследие системы образования, в которой мы выросли. Внедрение ИИ мало что меняет, но, по крайней мере, позволяет вытащить этот факт на свет и спросить: «Друзья, а мы уверены, что хотим этого?». Нужно ли сводить любую деятельность к наличию задачи? Может, стоит задаться вопросом, кто её ставит?

Вдохновение для переосмысления я нахожу в двух неожиданных местах:

Дизайн сообщений об ошибках
То, как машины сообщают об ошибках, сильно меняется со временем. Это пространство для нашего творчества. Мы мало влияем на степень внедрения технологий, но дизайн сообщений об ошибках — тема, где наш круглый стол может дать практический результат. Каким он должен быть? Как машины могут сообщать людям об ошибках?

Опыт обучения нейросетей
Из образовательных процессов «человек-человек» зачастую ускользают вещи, очень востребованные в обучении ИИ. Статья Джексона (2023) систематизирует три подхода к тому, как «наблюдатель», изучающий процесс обучения машины, распознает ошибку:

  • Несовпадение структур: Машина исходит из иных структур, делает что-то правильно со своей точки зрения, а человек видит в этом ошибку: как в случаях, когда, математик в гуманитарном классе получает «нет» за правильное, но "неподходящее" решение. Это происходит, когда наши структуры знания не совпадают.
  • Ошибка как точка переговоров (negotiation point): В обучении ИИ ошибки становятся поводом для пересмотра критериев. Аналогия — апелляция в образовании («Почему тройка?»). Эти скрипты взаимодействия (что делать, если не сдал/не сделал) очень важны, но при разработке программ им редко уделяется достаточно внимания. И, в этом смысле, нам стоит поучиться у людей, которые занимаются обучением нейросетей.

Ошибка как место починки и реструктуризации иерархии
Машина не только помогает или мешает людям находить ошибки, но и совершает их сама. Её внедрение в образовательную иерархию вводит нового актора — разработчика, формально нейтрального и "за объективное знание". Его появление нарушает существующую иерархию. Это угроза: любое локальное знание, знание небольших исследовательских областей, не укорененное в базах данных, будет проигрывать. Останутся сильнейшие (как «комбикорм для уничтожения видового разнообразия»), что плохо для образования, цель которого иная. Но у этой угрозы может быть положительная сторона, если мы вовремя начнем говорить о том, как иерархии перестраиваются и что разные «мы» можем с этим делать.
Интерфейсы и пустота:
Что я, как преподаватель, хотела бы передать ИИ, который меня заменит
доклад Марии Могилевич, к.филос.н., заместитель директора DH-центра ИТМО
Мы всегда находимся в ситуации, когда получаем элемент нашего временного интерфейса в непонятном состоянии из Культуры 1, исходной культуры, откуда человек приходит, мы должны привести его в Культуру 2, профессиональную среду, в которую он выходит.

Сейчас ИИ не просто участвует в наших взаимодействиях — он одновременно существует и в Культуре 1, и в Культуре 2. Поэтому проектирование любого образовательного инструмента с ИИ должно начинаться с полноценного исследования того, как ИИ функционирует в обоих этих контекстах.

Во-первых, нужно понимать, как ИИ ведет себя в исходной системе (Культуре 1), откуда к нам приходит главный участник процесса — обучающийся. Именно обучающийся для меня центральная фигура; все остальные элементы системы заменимы.

Во-вторых, необходимо изучать, как этот человек будет взаимодействовать с ИИ в целевой системе (Культуре 2). Какие отношения мы проектируем между ними? Например, если мы делегируем функцию обратной связи средствам ИИ, останется ли этот канал коммуникации актуальным для обучающегося в Культуре 2?

Это интересная проблема: как нам удерживать баланс между образовательными задачами в наших «лабораторных» условиях и задачами будущего рынка? Откуда вообще получать новые сведения о том, как эти взаимодействия будут происходить дальше?

Но есть более важный вопрос, вынесенный в заглавие доклада. Образование как процесс — это не только выдача набора компетенций. Это проведение инициации человека из состояния 1 (где он еще не принят во взрослом профессиональном мире) в состояние 2. Человек, пришедший в медицинский вуз в состоянии 1, и человек в состоянии 2, которому я доверюсь прооперировать себя, — это два совершенно разных «агрегатных состояния».

Как преподаватель и образовательная институция, я передаю агентность новому актору в системе Культуры 2. Эта передача агентности означает ситуацию, когда я могу сказать обучающемуся: «Теперь ты справишься без меня».

Вот здесь и возникает ключевой вопрос: как передать эту функцию преподавателям, которые будут «расти» из ИИ и осуществлять передачу агентности/проводить инициацию? Как сформировать полноценного заместителя, способного перенять функции в мире, о котором мы еще ничего не знаем? Это уже за гранью просто работы с ошибками. Интересно, как образовательные ИИ-продукты будут взаимодействовать с этой проблемой передачи инициации.
Ошибки, скорость, ответственность и будущее образования с ИИ
дискуссия

Участники:
> Азиз Аширов, координатор программ развития DH-центра ИТМО
> Иван Карлов к.т.н., советник проректора, руководитель лаборатории цифровой трансформации образования Института образования НИУ ВШЭ
> Полина Колозариди, к.с.н., директор DH-центра ИТМО
> Мария Могилевич, к.филос.н., заместитель директора DH-центра ИТМО
> Ульяна Раведовская, директор Центра образовательных разработок на основе технологии ИИ SAS ТюмГУ

вступительное слово: Александр Едюков, студент DH-центра ИТМО, со-координатор проекта DH про AI
>>> вступительное слово

Развитие больших языковых моделей (LLM) и интерфейсов на их основе открывает огромные возможности для образования. Однако функционал этих моделей, при всей его широте, часто оказывается слишком размытым для решения конкретных практических задач. С одной стороны, ИИ предстает «мастером на все руки», с другой — не обладает достаточными квалификациями применительно к специализированным образовательным контекстам.

Появление этого нового технического артефакта ставит сложную задачу его осмысления и интеграции: каким должен быть его функционал в образовании? Как он должен действовать? Что требуется от университетов, преподавателей и студентов для его эффективного использования? И, наконец, для чего он действительно нужен и можно ли обойтись без него? Сочетание огромного потенциала LLM с традиционным устройством университета делает поиск ответов на эти вопросы особенно сложным.

При этом мы наблюдаем процесс реконфигурации (по Л. Сачмен) — перераспределения ролей, которые ранее были четко закреплены за человеком или машиной. Вместо абстрактного теоретизирования об «агентности» ИИ, продуктивнее посмотреть, как эта агентность фактически перераспределяется в конкретных образовательных практиках между человеком и машиной.
Хотя часто говорят о роли ИИ как помощника, тьютора или ментора студента, многие существующие инструменты изначально не разрабатывались для этих целей. А если и разрабатывались, то возникает вопрос: как именно и, главное, какими мы (университеты, преподаватели, студенты) хотим видеть эти новые отношения?

Здесь особенно любопытным кажется подумать об ошибках.

Ошибки играют фундаментальную роль в образовании: именно исправляя их, мы учимся. В рамках круглого стола мы сосредоточились не на образовательном процессе в целом, а на конкретных практиках нахождения ошибок и работы над ними. Это позволило сфокусироваться на ключевом вопросе: стоит ли делегировать эти практики искусственному интеллекту, и если да, то как это сделать оптимально?

Этот фокус закономерно порождает множество взаимосвязанных вопросов: Что вообще считать ошибкой в образовательном контексте? Какова её роль? Каким образом ИИ может определять и детектировать ошибки? Как он должен на них реагировать педагогически? И, наконец, всегда ли заботливое и понятное объяснение от ИИ эффективнее, чем, например, «суровая двойка» от преподавателя?

Для всестороннего рассмотрения этих вопросов мы и собрали тематический круглый стол.

>>> дискуссия

Полина: Я научилась ставить двойки. Мне кажется, ставить двойки умеют только люди. Только человек может взять на себя ответственность сказать: «У тебя не получилось. Я готов поговорить об этом и помочь». И верить, что сейчас не получилось — но через год получится. Вот в чём ответственность. В интерфейсах ключевое — перевести человека из точки, А в точку Б. Тот, кто готов его не «бросить». Хотим ли мы мира, где «бросают» машины? Нет. Нужно вкладывать деньги не в обучение ИИ, а в обучение людей, которые смогут сказать «нет». Это очень важное в образовании слово. Вообще, в искусственном интеллекте скорость является ключевым фактором. Изменение скорости — это уже половина ответа на вопрос о том, как меняются интерфейсы.

Ульяна: Мы можем фантастически наращивать организационную скорость процесса с помощью ИИ, но есть ещё скорость созревания того, на что мы влияем — индивидуальная скорость трансформации. Её увеличить не везде возможно и это создаёт разрыв. ИИ проблематизирует устройство нашего образования, и на этой проблематизации мы можем сделать то, во что действительно верим — не просто решить, что «надо всё изменить», а учесть сложность. С одной стороны — есть скорости созревания, циклы, которые мы не можем изменить (иначе всё превратится в симуляцию). С другой — скорость, с которой учится ИИ. Сегодня он чего-то не умеет, а мы говорим: «Должен уметь!». ИИ в роли преподавателя учится в разы быстрее людей. Попробуйте подготовить человека за год для выполнения таких задач… Вряд ли получится. Для нас, людей, это плохая новость.

Маша: А почему плохая? Может, мы и не так хотели быть преподавателями… Меня беспокоит момент скорости. Человеческие и ИИ-скорости отличаются существенно. Представьте: вы, условно, африканский ребёнок, на вас тестируют новые образовательные модели, потом в работаете в ИИ-стартапах, где ИИ — основной контрагент. Вопрос: насколько новые технологии будут совместимы с более медленными агентами? Ведь снижать скорость в некоторых когнитивных процессах парадоксально сложнее, чем её наращивать. Как потом подтягивать более медленных агентов и медленные задачи?

Иван: Свежий пример из нашего вуза — как раз про ошибки и разную реакцию человека и ИИ. Речь не о чистой GPT-модели, а о специально обученном сервисе для тестирования английского языка. Изначальная проблема заключалась в том, что для проверки каждого теста необходимо два преподавателя. Тогда мы поставили задачу: обучить ИИ быть «вторым проверяющим». Преподаватель остается, но вторую оценку (для выравнивания) дает искусственный интеллект. Система работает! Вот, что обнаружилось: ИИ оценивает куда строже человека. Преподаватель, слушая запись речи, некоторые ошибки прощает, а ИИ не прощает ничего, фиксирует все ошибки до единой. По всем категориям ошибок оценка ИИ оказалась строже человеческой.

Азиз: Мы обсудили разные типы цифровых решений. Иван говорит — ИИ «не прощает ничего». Но должен ли преподаватель уметь прощать? Все эти человеческие качества, которые «достаются» ИИ… С прощением парадокс: с одной стороны — да, конечно, а с другой… [осмысленная пауза]. Вот самый сложный вопрос: что мы вообще хотим передать ИИ?

Иван: Когда я говорю об ИИ, я выхожу за рамки ChatGPT или генеративных моделей. Аналитических решений, обрабатывающих данные и поведение в образовании, гораздо больше. Если просто сказать: «Пусть И И этим занимается», то вопрос об отчислении он будет решать легко, оценки выставлять без колебаний. У него ничего не «дорожает», он будет жёстким.

Я занимаюсь ИИ с 1999 года и очень осторожен в этом вопросе. Уровень развития технологий существенно выше готовности к ним общества. Лично я не считаю, что сейчас можно доверить ИИ управление судьбой человека — принимать значимые решения. Может, что-то и делегировать, но не ключевые вопросы.

Роль ИИ, скорее, дополняющая — как в медицине: деньги вкладывают не в замену врача, а в инструменты, помогающие ему (подсвечивают важное на снимках). Окончательное же решение — всегда за врачом, оно предполагает ответственность. Создатели любого GPT-сервиса всегда прописывают: «Мы не несём ответственности за то, что производит наша модель». Так и в образовании: нельзя полностью делегировать ИИ ответственность, особенно за судьбу человека (отчисление). Это должно оставаться за людьми.

Полина: Мне то, что вы говорите, искренне нравится. Речь не о замене преподавателей, а о токсичности системы. Преподаватель дает реакцию: «Твоя тема важна». А сейчас на конференциях в кулуарах слышишь: «Ужас, что эти люди говорят!». Нам важно сталкиваться, если мы собираемся жить вместе.

Но модель регулирования ИИ сверху — это модель ядерного сдерживания, которой у нас нет. Страны с ядерным оружием договариваются о правилах (у нас ПВО, у вас столько-то боеголовок) на основе теории игр: мы сдерживаем друг друга, потому что можем навредить. Мы — сильные, ответственные игроки.

С ИИ так не получится. Это дешёвая технология. Помните Nokia-кирпичи? А через пару лет — тонкие смартфоны. Когда каждый сможет создавать ИИ-агентов, продумывать регулирование «людьми в пиджаках» уже не выходит.

Тогда инструментом может стать кто угодно — даже университеты, не получившие финансирования. «Мы сделаем свой ИИ!» — и он станет технологией для бедных, злых и недовольных. К этому надо готовиться.

На что здесь опереться? На настоящие дисциплины, на знания. Я амбициозна, но когда моя наука говорит «нет» — я могу сказать «нет». Университет, заточенный только под прикладные задачи, опасен: он производит непредсказуемые социальные эффекты. А университет, где дисциплинарное знание вырабатывает правила игры и отстаивает автономию — чуть надёжнее. Короче — за эпистемические добродетели.

Ульяна: Мы проводим параллель с медициной, но это спорно. Медики не говорят «заменим врача», хотя тоже раскладывают работу на функции и алгоритмы. Когда хирург принимает решение отрезать, а потом пациент страдает — следует суд и персональная ответственность. А в образовании? Если преподаватель что-то не так сказал, и студент выбрал не ту специальность, сломал себе жизнь — кто за это ответит? Мы даже не фиксируем такие случаи.

Формально — студент сам несёт ответственность за свой выбор, преподавателю легко ее с себя снять. Чувствует ли среднестатистический педагог груз ответственности за судьбы студентов? Мне кажется, нет. ИИ обнажает эту проблему — он делает видимой хрупкость нашей образовательной системы. Мы быстро осознали: пытаться встроить ИИ в старую образовательную модель бесполезно. Нужны другие модели и другое устройство деятельности студентов и преподавателей, нужно перепроектировать. Это большая работа.

>>> про персонализированное образование

Иван: Важный момент: в основе персонифицированных систем — построение цифрового двойника или следа для каждого обучающегося. Это тяжелые системы, требующие много данных об обучающихся. Это не тот сервис, который получится быстро запустить и также быстро от него что-то получить. В международной практике мне не встречались примеры, когда это мог сделать один преподаватель. Это история, в которую идет весь вуз или система сознательно, инвестируя огромные ресурсы. Успешные кейсы — Британия, Америка, Китай, Арабские Эмираты (для которых Британия разрабатывала) — те, кто готов тратить деньги, собирать большие данные и уже на их основе работать.

Ульяна: Подтвержу. Преподаватели сейчас персонализацию не делают. Максимум — хорошие репетиторы индивидуально. Это дорого. Преподаватель в аудитории персонализировать не может, а у ИИ для этого есть потенциал, и уже есть первые прецеденты. Мы верим, что именно ИИ сможет по-настоящему персонализировать обучение.

Преподаватель не справляется с гетерогенностью аудитории, ориентируясь на несуществующего «среднего» студента. Разбив учебный процесс на части, с каждой ИИ справится лучше. У нас персоны (цифровые ассистенты) работают: отвечают на запросы, дают обратную связь… Но студенты это игнорируют. Говорят: «Верните Девина (преподавателя), пусть он рассказывает». То же самое от персоны — неинтересно.

Это ответ на слова Ивана: технологии готовы, общество — нет. Проблема не в масштабе. У ИИ нет эпистемического авторитета — студенты легко отметают его советы. Нужно менять само восприятие технологий, а это отдельная большая работа.

Полина: Все обсуждаемые проблемы упираются в простой факт: есть образование, есть наука. У нас до сих пор гумбольдтовская модель университета, где образование неотделимо от науки. А то, о чем мы говорим — тьюторство — к науке не имеет отношения.

Преподаватель как ученый — человек, за которым стоит дисциплинарное сообщество. Те, кому будет стыдно, если я выберу психологический комфорт вместо дисциплины.

После этой дискуссии можно говорить прямее: превращение препода в «личного ассистента» — опасная тенденция. Да, расширять рабочие места важно. Но университет как место встречи науки и образования — это совсем другое.

Что с этим делать? Какую роль займут технологии? Чрезвычайно интересный вопрос. Видимо, потребуется еще не один круглый стол.

Азиз: Ого, спасибо. Я даже не знаю, как поставить точку лучше, и не буду. Спасибо всем.