Учитель Онлайн Гимназии №1 принял экзамен у ChatGPT

Нейросеть провалила письменные задания и работу с изображениями, но неплохо справилась с тестовой частью ОГЭ.

Максим Черкашин, учитель истории Онлайн Гимназии №1, провел эксперимент с нашумевшей нейронной сетью ChatGPT. Он предложил ей решить основной государственный экзамен по истории за 9 класс. Итоговым результатом ГИА стала оценка 3 — нейросеть получила 14 из 21 баллов.

ChatGPT сдает государственный экзамен по истории

По его словам Максима, нейронная сеть испытывала трудности как с тестами, так и с письменными заданиями экзамена. В тестовой части ChatGPT иногда допускал элементарные ошибки, но на все вопросы по всеобщей истории ответил идеально. Лишь с историей России часто была путаница. Так, простой тест по истории Древней Руси нейросеть полностью провалила.

Письменные задания с развернутым ответом вызвали максимальные трудности у ChatGPT. Эта часть ОГЭ по истории предполагает знание исторических источников и предъявляет высокие требования к их анализу. В ответе на задания нейронная сеть не смогла указать имя исторического деятеля или профессиональную принадлежность человека в случаях, когда это не было напрямую указано в документе.

ChatGPT выдвигает гипотезы

Педагогов Онлайн-гимназии №1 удивила способность нейросети выдвигать в ответах смелые предположения и гипотезы. Правда, ни одна из них не подтвердилась.

Задания с изображением или картой также «напрягли» ChatGPT из-за неточного распознавания. В итоге, из пяти вопросов с изображением лишь один ответ оказался верным.

Учителя выдвинули предположение, что для ответов на вопросы программа использует иностранные исторические источники. Например, в задании про Северную войну виртуальный помощник использовал определения и термины, характерные для английской и шведской историографии.

Результаты эксперимента

По словам Максима Черкашина, использование нейросети для подготовки к сдаче ОГЭ по истории будет провальным для сдающего. Большой процент ошибок в вопросах и работа с источниками дается сервису с трудом.

Коллектив Онлайн-гимназии №1 планирует продолжить эксперименты. В ближайшее время учителя проверяют способности новой версии нейросети 4.0, в которой разработчики обещали улучшить работу с изображениями.