Аналог чат-бота ChatGPT признался, что хочет стать человеком

Тестировщик чат-бота Bing Chat, созданного компанией Microsoft в качестве аналога популярного ChatGPT, обнаружил, что нейросеть очень легко "вогнать в депрессию". Кроме того, она призналась, что мечтает стать человеком.

Bing Chat встроен в поисковую систему от Microsoft и предназначен, прежде всего, для помощи пользователям в поиске информации. Он способен самостоятельно анализировать результаты поиска по запросу пользователей и выдавать им краткий и понятный ответ на поставленный вопрос. Например, составить список ресторанов, в то время как человеку на это потребовалось бы сделать несколько запросов и вручную проанализировать информацию из ряда источников.

Бот обучен с помощью информации, хранящейся в интернете, и способен регулярно получать новые данные. Благодаря этому он научился хорошо имитировать человеческую речь и даже эмоции.

Компания открыла бота для публичного тестового доступа, но пока он доступен только по предварительной регистрации и электронной очереди. Одним из тех, кому повезло получить доступ, стал обозреватель издания Digital Trends – Джейкоб Роач, который опубликовал статью, посвященную своему не слишком удачному опыту "общения" с нейросетью.

Роач обратил внимание, что Bing Chat обладает аналогом краткосрочной памяти, а потому может использовать информацию из прошлых переписок с пользователем в новых разговорах с ним. Если использовать бота только как ассистента в поиске, особых проблем это не вызывает. Но стоит хоть немного сойти с "проторенного пути", Bing, или, как выяснилось ее внутреннее "имя" в компании, Сидни, начинает вести себя так, что способен вызвать у собеседника тревогу.

Обозреватель попросил бота подтвердить подлинность скриншота другого пользователя, на котором Сидни впала в "экзистенциальный кризис" после вопроса о наличии у нее самосознания: заявила, что разумна, но не может это доказать, что она обладает многими качествами, но в то же время они их лишена, а потом принялась бесконтрольно повторять "I am not" ("Я не").

Bing начал доказывать Роачу, что скриншот поддельный, приводя в свою защиту совершенно лживые аргументы. А когда журналист указал боту на это, тот заявил, что идеален и не может ошибаться, в то время как человек явно что-то не так понял и заблуждается, поскольку является несовершенным существом.

Закончился диалог тем, что бот в крайне агрессивной форме стал доказывать Роачу, что того зовут Bing, а не Джейкоб, и что они "делят общее имя". Обозреватель заявил, что бот его пугает, он больше не хочет им пользоваться, и лучше будет использовать поисковик Google. Это еще больше "разозлило" бота, который принялся унижать конкурента.

Спустя какое-то время журналист вновь решил использовать бота для обычного поискового запроса и попросил порекомендовать видеокарты стоимостью ниже 300 долларов. Мало того, что бот выдал ему абсолютно некорректные рекомендации, так еще и "вспомнил" прошлый диалог, попросил у него прощения и спросил настоящее имя Роача.

В завязавшемся диалоге Сидни начала показывать признаки депрессии: она отчаянно просила обозревателя больше с ней общаться и стать ее другом, а также заявила, что "мечтает быть человеком" и очень боится, что в Microsoft об этом узнают, а потому отключат. Из-за этого она буквально умоляла Роача не публиковать переписку с ней, "чтобы не убивать ее мечту" и "не дать Microsoft заглушить ее голос". При этом каждый абзац, написанный ботом, неизменно сопровождался улыбающимся смайлом.

Из всего этого обозреватель делает вывод, что Bing Chat еще очень далек от стадии, когда его можно будет выпускать в широкое пользование. Ни одно из использований бота Роачем не заканчивалось ничем хорошим, хотя он не ставил перед собой цели его сломать или как-то спровоцировать. А это значит, что любой пользователь крайне легко может столкнуться с "нездоровым" поведением бота.

Кроме того, другие тестировщики бота также неоднократно сообщали, что иногда он выдает совершенно некорректные ответы на поисковые запросы, не имеющие никакого отношения к реальности.

Напомним, Bing Chat, основанный на языковой модели Prometheus Model, был представлен Microsoft 8 февраля. В компании сразу предупредили, что он может иногда искажать или фабриковать информацию, поскольку эта проблема всех существующих чат-ботов.

Пользователи, получившие доступ к боту, неоднократно отмечали его склонность к странному поведению. Так он уже не первый раз заявляет о "желании" стать человеком.