Последняя модель GPT-4 OpenAI превзошла человека на экзаменах

Производитель ChatGPT четвертого поколения утверждает, что новинка способна обойти человека в ряде сфер, включая академические и профессиональные тесты. О соответствующем заявлении главы компании OpenAI стало известно накануне.

Подробности

По данным OpenAI, GPT-4 гарантированно попадает в ТОП-10 самых успешных экзаменуемых при сдаче теста на адвоката, тогда как предыдущее поколение искусственного интеллекта GPT-3.5 могло лишь рассчитывать на попадание в десятку  лучших. GPT-4 также показал хорошие результаты на других экзаменах, в частности, на математическом SAT-тесте (700 баллов из 800). Однако на экзамене AP English Language and Composition он набрал всего 2 балла (14th to 44th percentile).

Важно понимать, что GPT-4 представляет собой рекуррентный механизм, который использует для ответа на запрос материалы, которым он был обучен (то есть он сможет вспомнить детали для экзаменов, но точность ответа может варьироваться от низкой до максимально точной). Генеральный директор OpenAI Сэм Альтман признал, что GPT-4 все еще несовершенен (“он может показаться впечатляющим при первом использовании, однако впоследствии уровень знаний ИИ может разочаровать пользователей”).

GPT-4 – это большая мультимодальная модель, разработанная для приема запросов через текст и изображения, и предоставления текстовых ответов. Пока “искусственный разум” доступен исключительно в текстовом виде через API GPT-4 и для платных подписчиков ChatGPT Plus (ввод изображений пока находится в стадии доработки, поэтому пользователям приходится довольствоваться ответами в виде текста).

Несмотря на добавление механизма визуального ввода, OpenAI не проявляет открытости и не предоставляет информации о своей модели. Компания решила не раскрывать подробности о размерах GPT-4, методах обучения и прочих подробностях.

В прямом эфире на YouTube соучредитель и действующий глава OpenAI Грег Брокман продемонстрировал разницу между GPT-4 и GPT-3.5, попросив обе модели обобщить запись в блоге OpenAI GPT-4 одним предложением, в котором каждое слово должно начинаться с буквы “G”.

GPT-4 выдал следующее: “GPT-4 generates ground-breaking, grandiose gains, greatly galvanizing generalized AI goals.” (букв. “GPT-4 генерирует новаторские, грандиозные достижения, значительно активизируя обобщенные цели ИИ”), тогда как для GPT-3.5 этот запрос оказался чересчур сложным (программа даже не стала пытаться выдать что-нибудь вразумительное).

Брокман также попросил GPT-4 сгенерировать Python-код для бота Discord, а также HTML и JavaScript-код для нарисованного от руки макета сайта шуток, отправленного в Discord. Сверх того, президент OpenAI настроил GPT-4 на анализ 16-и страниц налогового кодекса США, чтобы вернуть стандартный вычет для пары, Alice и Bob, с определенными финансовыми обстоятельствами.

“На выходе” модель OpenAI дала правильный ответ и объяснила, какие именно расчеты были произведены.