Преподаватель ВШЭ Михаил Павловец провел эксперимент: дал задание нейросети GPT-3 придумать текст итогового сочинения. Того самого, декабрьского, без которого ученика не допустят на ЕГЭ. А потом показал его учителям. Все педагоги дали тексту скорее положительную оценку.
Aif.ru решил повторить эксперимент. За помощью мы обратились к специалистам по машинному обучению, ведь оказалось, что обычный человек вряд ли сможет поставить нейросети правильную задачу. Во-первых, свободного доступа к GPT-3 у рядовых пользователей нет, во-вторых, правильно дать ей задание может только профессионал. Поэтому сейчас школьники вряд ли побегут использовать нейросети для помощи, например, в домашних заданиях. А вот в будущем — кто знает!
О том, что у нас получилось, читайте ниже.
Итак, первое сочинение, которое нам сгенерировал искусственный интеллект (темы мы взяли реальные, из декабрьского выпускного сочинения).
СОЧИНЕНИЕ 1
Тема: В чём ценность исторического опыта?
Ценность исторического опыта заключается в том, что мы можем учиться на прошлых ошибках, избегать их повторения и лучше понимать мир и то, как он устроен. Это также важно для развития эмпатии и для нашего собственного личностного роста. Исторический опыт можно найти во многих местах, но одним из наиболее доступных и влиятельных источников является литература.
Книги могут переносить нас в разные времена и места и рассказывать о разных культурах и людях. Они также могут помочь нам понять мотивы, стоящие за действиями людей, и последствия их выбора. Один автор, который особенно искусен в этом, — Лев Толстой. Его романы «Война и мир» и «Анна Каренина» разворачиваются в два совершенно разных периода российской истории, но оба дают богатое понимание человеческого опыта.
Действие «Войны и мира» разворачивается во время Наполеоновских войн и следует за группой аристократических семей, оказавшихся втянутыми в конфликт. Роман охватывает широкий круг тем, от политики войны до личных отношений персонажей. Действие «Анны Карениной» разворачивается в Императорской России и рассказывает историю женщины, у которой завязался роман, а затем она вынуждена выбирать между мужем и любовником. Роман исследует темы любви, морали и социальных изменений.
И «Война и мир», и «Анна Каренина» предлагают глубокое понимание человеческой природы и ценности исторического опыта. Они показывают нам, что наш выбор имеет значение даже в разгар великих событий и что наши действия имеют последствия. Они также учат нас сопереживанию, открывая нам окно в жизнь людей, которые сильно отличаются от нас. Читая эти романы, мы можем лучше понять самих себя и окружающий мир. Лев Толстой был русским писателем, наиболее известным своими романами «Война и мир» и «Анна Каренина». Он также был философом и мыслителем, и его идеи об истории оказали длительное влияние. Толстой верил, что история — это не просто череда событий, а скорее опыт, который можно использовать для обучения и роста. Он считал, что исторический опыт ценен, потому что он может рассказать нам о человеческом состоянии и помочь нам понять наше место в мире.
Идеи Толстого об истории были очень влиятельны, и многие люди использовали его идеи для создания своих собственных теорий о прошлом. Его идеи об историческом опыте были особенно влиятельны, и они использовались для поддержки идеи о том, что история — это не просто серия событий, а скорее непрерывный процесс, который можно использовать для обучения и роста. Ценность исторического опыта заключается в том, что он может помочь нам понять состояние человека и наше место в мире.
Нейросеть получает зачет
Все педагоги согласились: за такое сочинение можно получить зачет. Хотя к логике есть вопросы, да и речевые ошибки выдают бедность речи.
Тем не менее такой текст соответствует теме, в нем есть аргументация с привлечением литературного материала, соблюдена композиция.
«Критерии оценки такого сочинения очень мягкие. Получается, что в нём достаточно шаблонности для того, чтобы получить зачёт», — объясняет нам Ольга Антонникова, учитель русского и литературы гимназии № 9 Ставрополя.
«Да, в реальной педагогической практике это — зачет. Для ученика, — объясняет Любовь Гараз, учитель русского языка из Тюмени. — И незачет для педагогов, вынужденных соглашаться с несамостоятельностью, шаблонностью мышления, поверхностной аргументацией».
Где ошиблась нейросеть?
Все педагоги согласились: речевое оформление текста на очень низком уровне, присутствуют неоправданные повторы, часто используются слова, которые лексически не сочетаются.
«В разные времена о разных культурах», «они показывают нам, что наш» — это лишь часть примеров неудачного построения предложений.
«В сочинении неоднократно нарушено абзацное членение, аргументы смешаны, последние два абзаца состоят из одинаковых предложений, которые просто дублируются, — объясняет нам Ольга Антонникова. — Тема сочинения раскрыта, аргументы соответствуют, но из-за логических нарушений, одних и тех же фраз и умозаключений текст воспринимается тяжело».
А вот второй текст, написанный для нас нейросетью:
СОЧИНЕНИЕ 2
Тема: Может ли научное открытие представлять опасность для человека и человечества?
Научное открытие уже давно приветствуется как ключ к разгадке тайн Вселенной и улучшению жизни человечества. Однако верно и то, что научное открытие может быть опасным для человечества. Эту идею можно увидеть в классической литературе, где авторы исследовали потенциальные опасности научного прогресса.
Один из примеров этого можно увидеть в романе Мэри Шелли «Франкенштейн». По сюжету молодой ученый по имени Виктор Франкенштейн становится одержимым идеей создания жизни. Он тратит годы на проведение экспериментов и в конце концов преуспевает в том, чтобы оживить существо. Однако существо оказывается монстром, и Виктор не в состоянии его контролировать. Эта история служит предостережением об опасностях попыток играть в Бога и манипулировать естественным порядком вещей.
Другой пример опасностей научных открытий можно увидеть в романе Олдоса Хаксли «Дивный новый мир». В этой истории общество было преобразовано благодаря научно-техническому прогрессу. Люди рождаются на фабриках и генетически сконструированы так, чтобы соответствовать заранее определенным социальным классам. Однако в конечном счете выясняется, что это общество мелкое и пустое, и персонажи неспособны обрести истинное счастье или самореализацию. Роман служит предупреждением о потенциальных последствиях того, что наука и техника будут контролировать каждый аспект нашей жизни.
В заключение, научное открытие может быть опасным для человечества. Примеры «Франкенштейна» и «Дивного нового мира» показывают, что стремление к знаниям и прогрессу может иметь непреднамеренные и потенциально катастрофические последствия. Поэтому ученым и политикам важно учитывать потенциальные опасности своей работы и предпринимать шаги по смягчению любых негативных последствий.
Похоже на человека
А вот второе сочинение. Оно написано лучше.
«Зачет по всем требованиям и критериям, — говорит Ольга Антонникова. — Тема сочинения раскрыта, аргументы соответствуют, логических нарушений нет», — считает учитель.
Однако восторга у педагогов оно не вызывает.
«Когда я проверяла, сразу подумала, что сочинения не очень похожи на работы детей, — рассказывает Ольга Антонникова, — будто их специально кто-то написал по шаблону. Я думала, что это кто-то из редакции».
По словам педагога, дети в сочинениях больше анализируют. У нее возник вопрос, знает ли тот, кто пишет, тексты произведений или же просто пользуется общими фразами. Однако декабрьское сочинение это позволяет.
«Честно говоря, сочинение производит противоречивое впечатление, — говорит Любовь Гараз. — Если это работа школьника, а не уставшего взрослого, давно забывшего школьную программу и лишь на пару минут заглянувшего в интернет.
Дети у нейросетей могут поучиться конкретике
«В школе разные ребята учатся, с разным уровнем развития. Многие бы написали лучше искусственного интеллекта, но и многим есть чему поучиться», — комментирует работу Елена Лебедь, учитель русского языка и литературы из Челябинска.
Как считает педагог, из плюсов сочинения нейросети: конкретика. «Зачастую дети в сочинении, что называется, „льют воду“. Много лишней, ненужной информации. В данной работе все четко, структурировано, конкретно. Ничего лишнего», — говорит учитель.
Как работает нейросеть?
Спрашиваем у специалистов, которые помогли нам создать сочинения.
Если коротко: такая технология умело переваривает огромные массивы текстов и находит в них закономерности.
«Генеративные сети вроде GPT-3 решают задачу дополнения текста. То есть умеют предлагать наиболее правдоподобное продолжение», — объясняет Руководитель команды машинного обучения в Yandex.Market.
Сеть, по словам эксперта, находит некоторые общие закономерности и паттерны (шаблоны, прим. ред.). «Нейросети предыдущих поколений в качестве таких паттернов успешно могли выучить синтаксис и морфологию языка, генерируя связные, но бессмысленные тексты.
Сети последних поколений достаточно большие, чтобы вместить уже глубокие семантические связи и переваривать огромные массивы текстов. Поэтому с каждым поколением они становятся все осмысленнее», — заключает Артем Бондарь.
Для обучения алгоритма исследователи собрали набор данных из более 570 ГБ текстов, объясняет Улюмджи Улюмджиев, преподаватель направления Data Science в Elbrus Bootcamp.
«Эта модель может точно и эффективно воспроизводить паттерны человеческого мышления и рассуждений», — говорит эксперт.
По его словам, практическая польза такой нейросети в том, что она позволяет распознавать эмоциональный тон текста или сообщения. «Так, например, компании могут оценить тональность комментариев и отзывов под их товаром, доволен ли их клиент обслуживанием умного чат-бота», — объясняет специалист.
Декабрьское сочинение — пустая трата времени?
Для чего необходимо итоговое сочинение? Что оно выявляет? Спрашиваем у идейного вдохновителя эксперимента Михаила Павловца.
По его словам, странной является сама идея проводить такой экзамен: если человек получит незачет, его не допустят к ЕГЭ по математике.
«Итоговое сочинение по сути — противозаконно, потому что де факто оказывается экзаменом по литературе — а Закон об образовании запрещает два итоговых экзамена по одному предмету»,— считает преподаватель.
Филолог объясняет: авторы такого испытания хотели, чтобы школьники стали больше читать, писать и учились развивать свои мысли.
«А поскольку темы планировались давать на нравственно-этическую проблематику, само рассуждение должно было обеспечивать воспитание подрастающего поколения», — объясняет педагог.
Однако, по словам преподавателя, дети не стали больше читать или писать. Для «литературных аргументов» многие использовали программные произведения 7-10 класса («Капитанская дочка» и «Судьба человека»), а для самого эссе — шаблонные тексты из сборников готовых сочинений.
«В ситуации, когда ты можешь не получить зачета, если твои мысли не понравятся проверяющему, почти любой школьник если не воспользуется готовым текстом, то постарается воспроизвести то, что, как ему кажется, от него ожидают. Воспитательный момент тут один — формирование конформизма и лицемерия», — убежден преподаватель.
А вот на ЕГЭ есть место проверке знаний
«Шаблонность сочинения ЕГЭ, конечно, многих удручает (и меня тоже), но она хотя бы соответствует таким образом понимаемой цели конкретного предмета: продемонстрировать грамотность и связность письменной речи (в ЕГЭ по русскому языку), умение пересказывать раздел учебника литературы (в ЕГЭ по литературе)», — говорит Павловец.
Убеди жену с помощью «Анны Карениной»
Однако, по мнению преподавателя, в отличие от сочинения на ЕГЭ по русскому в «декабрьском» такого шаблона не сложилось. По мнению преподавателя, инициаторы декабрьского испытания сами не понимают, чего хотят.
«Нам предлагается в качестве аргумента использовать художественный образ. Попробуйте уходящей от вас жене сказать: ты не должна от меня уходить, потому что Татьяна Ларина сохранила верность своему мужу-генералу, а вот Анна Каренина изменила — и попала под паровоз... Думаю, вы свою бывшую супругу на прощание сильно повеселите...», — объясняет педагог.
Писать надо больше, но не это
«Прежде чем провести эксперимент с „итоговым сочинением“, мы его провели с сочинениями, которые пишут участники Чемпионата сочинений „Своими словами“. И нейросеть задание... провалила. И написала сильно хуже учеников!» — рассказывает специалист.
Это, по его убеждению, связано с тем, что заявленная тема детям интересна: экономика, спорт, история. К тому же, такое эссе имеет адресата и предполагает определенную креативность — которую нейросеть пока не научилась ни распознавать, ни убедительно имитировать.
«Поэтому лично я за то, чтобы школьники больше писали осмысленных сочинений по самым разным предметам — по истории, географии, даже по физкультуре или математике! И чтобы проверяли такие сочинения учителя-предметники, а не измученные до полусмерти словесники, коих (как правило бесплатно) заставляют проверять бессмысленные „итоговые сочинения“, которые, как говорится, „ни уму ни сердцу“», — заключает эксперт.
