Уральский ученый поставил «тройку» нейросетям за знание истории

Доцент кафедры истории России УрФУ Михаил Киселев протестировал Chat GPT и Sage на знание своего предмета, в частности фактов и терминологии. В итоге он назвал нейросеть «студентом-импровизатором» и поставил ей «тройку», сообщает пресс-служба вуза.

Результатом своих исследований ученый поделился в ходе тематического семинара. Он рассказал, что делит студентов на экзамене на три типа: те, кто знает материал и понимает, как с ним работать, те, кто честно признается, что не готов, и уходит на пересдачу. И есть такие студенты, которые выучили часть, но пытаются показать, что знают все, начиная импровизировать и выдумывать, основываясь на обрывочных данных. Именно так в основном и ведет себя нейросеть, отметил историк.

Так, экзамен на знание терминологии нейросети прошли хорошо, в то же время со сложным гуманитарным материалом нейросеть не справляется, утверждает доцент. К примеру, нейросеть не владеет терминологией прошлых веков, зная лишь современный русский язык.

Историк предположил, что «неподготовленность» нейросетей связана с тем, что они имитируют самостоятельное мышление посредством генерации правдоподобных текстов на основании загруженных данных. Однако если данные достаточно полные и однозначны, то нейросети показывают хорошие результаты. Соответственно, в технических науках они демонстрируют большие успехи, нежели в гуманитарных.

 Нейросеть показала, как будет выглядеть Екатеринбург в 3854 году