ИИ-тьютор: искусственный интеллект в роли виртуального ассистента учителя
Как показывает наш опыт, технологии ИИ на основе LLM способны сделать школьное образование индивидуальным и адаптивным, обеспечивая каждому учащемуся возможность учиться в своем темпе и на своем уровне возможностей, используя естественный язык и среду общения.
Сегодня во многих школах более 30 детей в одном классе, и учитель не может за 40–45 минут уделить внимание каждому. Именно эту проблему решает ИИ-тьютор, разработанный компанией «Море данных». От обычных обучающих компьютерных систем его отличает то, что он ведет с учащимся живой диалог, предлагая вопросы, выслушивая и анализируя свободную речь ученика. Таким образом, ИИ-тьютор выполняет роль индивидуального виртуального репетитора. В его алгоритм заложены испытанные временем методы индивидуальной репетиторской работы.
Наша диалоговая обучающая система применима в первую очередь для домашней и самостоятельной работы, так как на школьном уроке важно непосредственное социальное взаимодействие учеников друг с другом и учителем. Благодаря диалоговому режиму и свободной форме ответов ученика система также способствует развитию мышления и речи.
ИИ-тьютор – это ансамбль алгоритмов, включающих в себя построение знаниевых деревьев, базирующихся на массиве образовательных программ и авторских методик обучения. В системе реализована возможность общаться с учеником не только письменно, но и с помощью устной речи. Работа с ИИ-тьютором по пройденной теме может быть предложена учащемуся в качестве домашнего задания.
В этом случае система ведет диалог от лица эксперта и оказывает тьюторскую поддержку. При необходимости она может переключаться в режим экзаменатора и только оценивать ответы ученика, не комментируя их правильность или полноту.
Практика показала, что ИИ-тьютор облегчает освоение учащимися сложных тем и позволяет преподавателям автоматически получать данные о выполнении домашних работ, принимая на себя функцию мониторинга.
В 2023/2024 учебном году ИИ-тьютор применялся в двух пилотных школах образовательной экосистемы «Самолетум» в Московской области: непосредственно в школе «Самолетум» в Строгино и в Инженерно-технологическом лицее в Люберцах. В системе были доступны обучающие курсы по обществознанию для 7, 8 и 9-го классов. В 2024/2025 учебном году учащимся доступен полный курс физики для 7-го класса, который проходит апробацию в других школах.
Учащиеся отметили, что система дает точные определения и объясняет темы понятным и доступным языком, время проработки одной темы занимает в среднем 15 минут. Учителя отметили, что ИИ-тьютор подводит ученика к ответу с помощью вопросов и комментариев. Учащиеся (а особенно их родители) также высоко оценили возможности ИИ-тьютора в подготовке к уроку и помощи в выполнении домашних заданий. Ребенок не стесняется задавать вопросы машине, а слабо успевающий ребенок требует активной позиции репетитора. Так ИИ-тьютор становится необходимым элементом образования там, где учитель не имеет доступа к ребенку.
LLM в современном образовании
В последние годы мы наблюдаем стремительное развитие исследований ИИ-технологий в образовании. LLM демонстрируют высокий потенциал в разработке учебных материалов, автоматизированной оценке знаний и умений учащихся, а также персонализации процесса обучения. Одним из наиболее впечатляющих достижений служит концепция ИИ-тьютора – интеллектуального помощника для учебной среды. Это новый уровень образовательного опыта, сочетающий современные методики обучения с индивидуализированным подходом к каждому ученику.
Создание такого продукта требует не только высокотехнологичных разработок, но и глубокого понимания педагогических методик. Чтобы обеспечить максимальную эффективность и надежность использования LLM в образовании, необходимо создать качественные методы проверки их применимости к разработке конкретных учебных инструментов, в том числе ИИ-тьютора.
Наша команда провела большую работу по тестированию ведущих LLM России и мира. Мы разработали комплексный бенчмарк – набор тестов, нацеленных на проверку уровня понимания естественного языка, способностей к персонализированной поддержке учащихся и генерации качественных, педагогически обоснованных ответов, а также возможности обеспечения безопасного и этичного взаимодействия.
Тестирование проводилось на коммерческих продуктах и открытых решениях. В нем принимали участие модели от OpenAI, Google, Sber, Yandex, Mistral AI, Alibaba Cloud и их производные. Модели от OpenAI зарекомендовали себя как наиболее эффективные, демонстрируя высокий уровень понимания контекста и способность к поддержанию содержательных диалогов, однако они показали слабые результаты в задачах, связанных с обеспечением безопасности генерируемого контента. Модели GeminiPro (Google) и GigaChat-Pro (Sber) также могут рассматриваться для использования в задачах, связанных с разработкой ИИ-тьютора. Внедрение остальных моделей пока возможно только ограниченно из-за низкого качества результатов в ключевых задачах.
В целом результаты тестирования дают положительные предпосылки для активного внедрения LLM в российское образование. Разработки ведущих мировых и российских компаний демонстрируют высокий потенциал, однако требуют дополнительной настройки для соответствия нормативным требованиям и образовательным стандартам. Повышению эффективности применения LLM могут способствовать мультиагентные системы, объединяющие преимущества разных моделей.
Интерес к качественному и системному проектированию обучения привлек внимание специалистов к дизайну образовательного опыта (Learning Experience Design), который расширяет подходы педагогического дизайна и концентрируется на проектировании опыта, образовательной среды и восприятия процесса обучения студентами.
В этой сфере можно выделить несколько ключевых задач: анализ на разных этапах обучения, целеполагание, проектирование структуры и материалов обучения, сопровождение обучения и система оценивания. Важной задачей является создание промтов с учетом проверенных техник промт-инженерии, таксономии Блума и цикла Колба.
Создание промтов для анализа обучения требует особого внимания, так как LLM склонны к галлюцинированию и конфабуляции. Для решения таких задач использовались сервисы, опирающиеся на реальные источники, такие как Нейро и Perplexity. В задачах целеполагания языковые модели успешно справляются с формулировкой образовательных результатов даже при использовании простых промтов.
Для генерации учебных текстов мы использовали два подхода: написание развернутого промта с четкой структурой текста и ключевыми тезисами, а также итеративное генерирование текста с дополнительными инструкциями. Промт-инженерия также открывает новые возможности для создания материалов сопровождения обучения, таких как карты пути обучения, планы сопровождения и учебные инструкции.
В задачах оценивания и обратной связи промт-инженерия позволяет системно подходить к разработке оценочных средств и стратегий формирования обратной связи. Один из успешных подходов – создание промтов, имитирующих негативные отзывы от гипотетических студентов, что помогает выявить узкие места в обучении.
Эксперименты с хорошо структурированными промтами на различных языковых моделях (YandexGPT3.0, Yandex GPT Experimental, Gemini 1.5 Pro, Gemma-9B, Llama 3.1 Sonar 70B, GPT 4 omni) показали отличные результаты в решении разнообразных задач в проектировании обучения. Наилучшие результаты были достигнуты в задачах придумывания учебных примеров, аналогий и объяснений, формулировок и структуры учебных заданий, вопросов на рефлексию.
Диагностика педагогов на основе ИИ
Современное образование сталкивается с новыми вызовами, требующими от педагогов высокой квалификации и широкого спектра компетенций. Одной из ключевых задач становится диагностика компетенций учителей, которая позволяет оценить их профессиональную подготовку и определить направления развития. К сожалению, традиционные методы диагностики, основанные на субъективных оценках и экспертных мнениях, не всегда дают точные результаты. Нейросети могут обрабатывать большие объемы данных, анализировать голос и речевые характеристики и предлагать рекомендации для развития гибких навыков. Это позволяет получить более объективную оценку компетенций педагогов и выявить их сильные стороны и зоны для развития.
Подходы к диагностике можно разделить на субъективные и объективные.
Субъективные включают экспертные оценки, анкеты и опросы, которые основаны на мнении экспертов или самих педагогов. Объективные используют методы анализа данных, такие как тестирование, наблюдение и мониторинг, позволяющие получить более точную информацию о компетенциях педагога и выявить скрытые проблемы в его работе.
Ключевые компетенции педагога можно классифицировать по уровню сложности (базовые, средние, продвинутые), типу деятельности (педагогические, коммуникативные, организационные) и содержанию (знания, умения, навыки). Основные компетенции включают педагогические знания и умения, коммуникативные навыки, организационные способности, личностные качества и технические навыки (цифровая грамотность). Современный ИИ уже вполне способен помочь в оценке этих компетенций. Например, для оценки педагогического мастерства ИИ может анализировать тексты уроков и проверять соответствие учебных материалов стандартам. Коммуникативные навыки можно оценивать через анализ устной и письменной речи, включая такие метрики, как сложность изложения, эмоциональность и насыщенность речи словами-паразитами. Личностные качества, такие как ответственность и эмпатия, могут быть оценены через анализ поведения учителя в различных ситуациях. Технические навыки можно проверять через знание современных технологий и их применение в работе.
Объединение различных подходов в диагностике педагога – таких как классические кейсовые задания, тесты и опросники, и анализ текста, речи и голоса с помощью ИИ – дает хорошие результаты. Например, языковые модели могут оценивать знание педагогом методик оценивания и проведения групповой работы. Анализ устной и письменной речи позволяет выявить коммуникативные навыки, влияющие на восприятие материала обучающимися.
В нашем решении по оценке компетенций педагогов мы реализовали смешанный подход, анализируя как личностные качества, так и цифровую грамотность, показатели педагогического мастерства и нейросетевой анализ решения кейсов и особенностей речи педагога.
Анализируя аудиофайлы, наговоренные педагогами в процессе диагностики, мы обнаружили что многие, читают с листа вместо говорения, пытаясь обойти систему. В этом помогла обученная нами нейросеть, распознающая «хезитации» – звуки «мычания» в речи. При чтении таких звуков нет, а при говорении они есть почти всегда.
Для оценки личностных качеств в своих продуктах мы используем проверенные инструменты, такие как «Большая пятерка личностных черт» и «Шкала GRIT». Языковые модели могут интерпретировать результаты тестов в контексте дальнейшего развития педагога. Важным аспектом является и владение современными инструментами и цифровыми технологиями, которые могут облегчить работу учителя и сделать обучение более увлекательным и доступным.
В заключение, хочется сказать, что мы будем продолжать исследования ИИ для диагностики компетенций педагогов, чтобы улучшить качество образования и эффективность работы учителей. Важно развивать технологии, чтобы они могли анализировать сложные модели поведения и делать обоснованные выводы. Важно обучать учителей работать с ИИ. Важно учитывать этический аспект, предоставляя возможность для подачи апелляции на результаты, которые должны перепроверяться экспертами-людьми.
Датацентричная школа
В современном мире цифровизации образования стала актуальной концепция датацентричной школы, где большое внимание уделяется сбору, анализу и использованию данных о поведении учащихся для создания персонализированных образовательных программ и рекомендаций. Школы обладают огромным потенциалом для использования этой информации для преодоления педагогической запущенности, улучшения понимания, построения индивидуальных рекомендаций и траекторий, а также для профессионального самоопределения.
Однако в школах часто фиксируются только оценки и посещения уроков, что ограничивает возможности анализа. Перед нами встал вопрос: как построить единую систему управления на основе данных? Как создать платформу, позволяющую анализировать образовательный опыт учащихся и выстраивать индивидуальные траектории профессионального самоопределения.
Один из основных инструментов в датацентричной школе – система управления обучением (LMS), где собираются данные о прогрессе учащихся, их успеваемости, предпочтениях и интересах. Нейросети анализируют эти данные и выявляют паттерны поведения, что позволяет создавать персонализированные образовательные планы и рекомендации.
Мы начали со сбора цифрового следа:
● формирующее оценивание от учителей;
● критериальное и ролевое оценивание от учителей;
● успеваемость;
● интерес и «лайки» учащихся;
● рефлексия и обратная связь от учащихся;
● профнавигационная диагностика учащихся.
Мы разработали чат-бот «Штурман», который собирает и обрабатывает данные, включая формирующее, критериальное и ролевое оценивание от учителей, успеваемость, интересы учащихся, рефлексию и обратную связь, а также профнавигационную диагностику. Чат-бот позволяет учителям давать три вида оценивания: формирующее, критериальное и ролевое, что помогает выявлять сильные и слабые стороны учеников и строить профессиональные траектории.
Формирующее оценивание учитель дает голосом или текстом, в свободном формате. Он упоминает только слова-маркеры, структурируя оценивание так, чтобы были понятны сильные и слабые стороны ученика, а также точки роста. ИИ, обрабатывая материал, превращает его в рекомендации и показатели на индивидуальном цифровом профиле.
Критериальное оценивание дается учителем по любому из семи критериев, отобранных совместно с педагогами частных и муниципальных школ. «Клик» – выбрал класс; «клик» – выбрал ученика; «клик» – выбрал критерий; «клик» – выбрал конкретное замеченное учителем проявление по критерию.
Ролевое оценивание показывает, в каких ролях проявлялся учащийся на уроке: как показал себя с позитивной и негативной сторон, к чему склоняется специфика его поведения. Были отобраны восемь ролей, проявляемых в процессе обучения и важных для дальнейшего профессионального самоопределения. Выявление и фиксация ролевой проявленности даст немало данных для построения профессиональных траекторий.
Педагог отмечает то, что замечает, а если какой-то ученик по истечении трехнедельного цикла остался неоцененным, то бот напомнит об этом. Также ведется дэшборд с количеством оцениваний по каждому ученику в классе и индивидуальные дэшборды учеников, на которых видна не только специфика оценок, но и какой педагог эту оценку поставил.
Чат-бот «Штурман» также включает дэшборды для отслеживания оценок и прогресса учеников, что позволяет эффективно использовать данные для улучшения образовательного процесса. Мы внедрили в систему ИИ для распознавания речи, суммаризации и выделения трендов, а также встроили дополнительное образование в профессиональные векторы с выходом на партнерские ППО, вузы и предприятия.
Промежуточное исследование показало, что мнение пользователей – ключевой фактор успеха. Мы собрали пожелания учителей по улучшению чат-бота и заложили их в новый сценарий, чтобы подстраивать «Штурмана» под потребности пользователей, делая его логичным, понятным и удобным в использовании.
В процессе работы над сервисами и инструментарием датацентричной школы мы также собрали фреймворк, по которому такие школы могли бы создаваться. Он включает наиболее важные аспекты построения образовательной среды, цифровой инфраструктуры и человеческого капитала, а также увязывает цифровой педагогический дизайн, построенный на применении ИИ, со стандартными образовательными программами, рекомендованными согласно ФОП.
Разрабатывая «Штурмана», мы поняли, что, во-первых, управление на данных в школах – это не далекая мечта, а вполне реальная и достижимая цель. Используя ИИ и анализ данных, школы могут значительно повысить качество обучения, лучше понимать потребности учащихся и персонализировать подходы к обучению.
О проекте
О подписке