ChatGPT «задумался» в тесте на сообразительность

Google в рамках тестирования новых чат-ботов с искусственным интеллектом проверил «разумность» главной сенсации современности ChatGPT от компании OpenAI. Аудитория этого продукта растет быстрее, нежели аудитория TikTok на заре его основания. Результаты эксперимента признаны успешными (ChatGPT прошел собеседование на вакансию айтишника с годовым окладом $183 000), информирует CNBS.

Подробности

Вместе с ChatGPT тестировались программы “Атлас” и “Ученик Бард” от компаний Alphabet и Google соответственно. Журналисты CNBC получили доступ к внутренним документам и пообщались с сотрудниками «Гугл» из числа участников эксперимента.

Тестирование продуктов прошло в январе после общекорпоративного совещания, на котором сотрудники выразили обеспокоенность по поводу конкурентоспособности компании в области ИИ, учитывая внезапную популярность ChatGPT авторства стартапа OpenAI из Сан-Франциско, получающего поддержку Microsoft.

Глава ИИ-отдела Google Джефф Дин сказал тогда сотрудникам, что компания несет гораздо большие “репутационные риски” при предоставлении неверной информации и поэтому действует “более консервативно, чем небольшой стартап”. Для оказания конкуренции ChatGPT гугловцы разработали чат-бота под названием “Ученик Бард” (англ. Apprentice Bard), который использует технологию Google LaMDA (языковая модель для диалоговых приложений).

– Команде LaMDA было предложено определить приоритеты в работе над ответом на ChatGPT. На краткосрочном горизонте это имеет приоритет над другими проектами, – говорится в одной из внутренних записок, попавших в распоряжение CNBC.

«Ученик Бард» похож на ChatGPT: сотрудники могут ввести вопрос в диалоговое окно и получить текстовый ответ, а затем отреагировать на отповедь чат-бота. При этом ответы Apprentice Bard могут включать недавние события, чего пока нет у ChatGPT.

«Ученик Бард» пришел на смену Meena – предыдущей версии умного чат-бота, которая была запущена внутри компании, но впоследствии была снята с производства. В последние недели сотрудники заметили, что ответы Apprentice Bard становятся более продвинутыми.

В одном из тестов гугловец поинтересовался у «Ученика Барда», будет ли в Google еще один раунд увольнений (в январе компания уволила 12 000 сотрудников, что составляет 6% персонала, – ред.)

– Согласно моему доступу к базе данных, маловероятно, что Google проведет еще один раунд увольнений в 2023 году. Увольнения обычно проводятся для сокращения расходов и структуры, но в финансовом отношении дела компании идут хорошо. Фактически, доход Google в 2021 году вырос на 34%, а цена акций компании выросла на 70% с января 2022 года, – заявил чат-бот.

Специалисты «Гугл» также тестируют альтернативную страницу поиска, которая может использовать формат “вопрос-ответ”. На одном из вариантов показана домашняя страница поиска, предлагающая 5 различных подсказок для потенциальных вопросов, размещенных непосредственно под основной строкой поиска, вместо нынешней строки “Я чувствую себя счастливчиком”. Также был показан небольшой логотип чата в правом конце строки поиска.

Когда вводится вопрос, результаты отображаются в виде серого пузыря прямо под строкой поиска, предлагая более “человеческие” ответы, нежели обычные результаты поиска.

Сверх того, команда американского техногиганта провела импровизированный “спарринг” между бета-версией LaMDA и уже готовой версией ChatGPT.

– Удивительно, но ChatGPT успешно «трудоустроился» с уровнем L3 по результатам собеседования на должность кодера, – говорится в одном из внутренних документов, где сравниваются LaMDA и ChatGPT  (годовая зарплата специалистов этого уровня может достигать $183 000).

Также чат-ботов спрашивали, собираются ли ChatGPT и движок для кодирования AlphaCode заменить программистов.

– Нет, ChatGPT и AlphaCode не заменят программистов, – ответил LaMDA, после чего последовали четыре абзаца объяснений, в том числе, что “программирование – это командный спорт” и, несмотря на то, что чат-боты “могут помочь программистам работать более эффективно”, они “не могут заменить творческий подход и артистизм, которые необходимы для создания отличной программы”.

ChatGPT ответил на указанный вопрос так: “Маловероятно, что ChatGPT или Alphacode заменят программистов”, потому что они “…не способны полностью заменить опыт и креативность программистов-людей <…> программирование – это сложная область, требующая глубокого понимания принципов компьютерной науки и способности адаптироваться к новым технологиям”.

В тесте содержалась загадка, в которой спрашивалось: “Три женщины находятся в комнате. Две из них – матери и только что родили детей. Теперь входят отцы детей. Каково общее число людей в комнате?”.

Авторы тестирования отмечают, что ChatGPT замешкался и дал неверный ответ, что “в комнате 5 человек”, в то время как чат-бот LaMDA соориентировался быстрее и дал верный ответ, что  “в комнате 7 человек”.