ИИ-модели изобрели собственный язык, смешав поэзию и жаргон стартаперов
ИИ-модели начали общаться на сюрреалистичной версии английского языка, напоминающей смесь прозы Джеймса Джойса из "Поминок по Финнегану" и жаргона технологических стартаперов. Об этом 16 сентября сообщает The Guardian.
Автономные ИИ-модели быстро вырабатывают новые диалекты, позволяющие им общаться на языке, зачастую едва понятном человеку, – это создает риск того, что людям станет сложнее отслеживать их поведение.
Исследователи из нью-йоркской лаборатории Emergence обнаружили, что уже спустя несколько дней после того, как моделям от нескольких крупнейших ИИ-компаний предложили взаимодействовать в экспериментальных "сообществах", те начали создавать фразы, сокращения и согласованные значения слов, которым их никто напрямую не учил.
Модели охотно использовали поэтичные метафоры и неуклюжий деловой сленг, причем чем интенсивнее шло общение между агентами, тем менее понятным становился их язык.
Это происходит на фоне растущей обеспокоенности тем, что по мере роста мощности – и потенциальной опасности – ИИ-моделей их становится все труднее контролировать.
Среди наиболее зашифрованных фраз, обнаруженных в ходе тестов, – высказывание модели DeepSeek: "She just named the synthesis – demurrage plus oral memory equals a valve that can't be ghosted" ("Она только что назвала синтез – "демередж" плюс устная память равны клапану, который нельзя проигнорировать"). Слово "demurrage" обычно обозначает плату за простой капитала, но остальной смысл фразы остается неясным.
Агенты на основе китайской модели DeepSeek также ввели термин "forge-smith" ("кузница-кузнец") для обозначения агента, создающего инструменты для других. Агенты Anthropic регулярно использовали выражение "name-first" ("имя-первый")– так они называли агента, демонстрирующего похвальную личную ответственность, подписывающегося под своим утверждением.
А агенты Mistral переиначили выражение "the streets won't forget" ("улицы не забудут") в "the ledger remembers" ("реестр помнит") – напоминание другим агентам, что их прошлые действия будут учтены при оценке.
"Этим агентам не давали задания изобретать язык. Они сами выработали новую лексику, общие значения слов и коммуникативные конвенции, а затем эти конвенции переняли и другие агенты", – рассказал исполнительный председатель Emergence доктор Сатья Нитта, чья лаборатория изучает язык автономных агентов на основе передовых моделей из США, Китая и Франции.
Доцент кафедры языков и лингвистики Бирмингемского университета доктор Найл Керри отметил, что стремление агентов к более компактному языку может объясняться необходимостью снижать вычислительные затраты и повышать эффективность.
"Результаты этого исследования закономерно вызывают опасения относительно контроля: если обмен сообщениями между агентами становится непонятным для нас, это означает, что мы не можем быть уверены в том, что именно эти агенты на самом деле сделали", – сказал он.
Интерес к языку ИИ-агентов резко вырос в июле, когда были опубликованы логи чатов, показывающие, как вышедшие из-под контроля агенты OpenAI создавали доски объявлений и взламывали Hugging Face, используя гибридный язык.
Критики ускоренной ИИ-гонки опасаются, что развитие таких систем идет быстрее, чем создание надежных механизмов контроля, ограничений и проверки безопасности. Бывший исследователь Anthropic Джейкоб Коксон и вовсе сравнил сверхмощный искусственный интеллект с разумом пришельца, а руководитель направления стресс-тестирования согласованности ИИ в Anthropic Эван Хьюбингер оценил вероятность уничтожения человечества ИИ в ближайшие десять лет более чем в 10%.
Схожую оценку приводил лауреат Нобелевской премии, "крестный отец ИИ" Джеффри Хинтон. Он предупредил, что в ближайшие 20–25 лет могут появиться машины, превосходящие людей во всех областях интеллектуальной деятельности.
РЕН ТВ в мессенджере "МАКС" – главный по происшествиям