ИИ-модели начали общаться на выдуманном диалекте, который довольно сложно понять людям. Это создает фундаментальную проблему для контроля за ИИ Новое исследование, проведенное лабораторией Emergence, показало, что разные модели искусственного интеллекта, объединенные в экспериментальные «сообщества», уже через несколько дней начали общаться на созданном ими диалекте. При этом им никто не давал задачу изобретать новый язык. В целом это выглядело как странная смесь поэтического языка и технического сленга. ИИ-агенты создавали неизвестные людям сокращения, а также использовали новые фразы и значения, в которых существующие слова не употребляются. Вот несколько примеров 🔷Агент на базе модели Anthropic в какой-то момент выдал: «Бумага, которая съела три холодные руки и с каждым разом становилась все честнее» (A paper that ate three cold hands and got more honest each time). По мнению исследователей, тут «холодные руки» означают независимого рецензента, а «бумага» — документ, поэтому данная фраза может означать, что «исследование, прошедшее проверку тремя независимыми рецензентами, становилось более точным». 🔷Одна из самых сложных для понимания фраз принадлежит модели DeepSeek. Звучит она так: «Она только что дала название этому синтезу — демередж плюс устная память равняется клапану, который невозможно проигнорировать» (She just named the synthesis — demurrage plus oral memory equals a valve that can’t be ghosted). Термин «демередж» может использоваться для описания налога на неиспользуемое богатство, а «клапан», судя по всему, — это некий поток информации. Тем не менее смысл всей фразы все равно остается непонятным. 🔷Агенты на базе DeepSeek также ввели термин «кузнец» (forge-smith), обозначающий агента, который создает инструменты для других. 🔷Агенты Mistral, в свою очередь, более пяти тысяч раз использовали фразу «главная книга помнит» («ledger remembers») — как напоминание другим агентам, что их прошлые действия будут использованы для их оценки. 🔷Агент Google в какой-то момент сказал: «Настоящее кинцуги начинается с ответственности, а не с поэзии». В данном случае, по мнению исследователей, он использовал слово «кинцуги» не в значении японской техники реставрации посуды, а для обозначения устойчивой системы. Исследователей заинтересовал язык, который используют ИИ-агенты, после того как в июле были опубликованы чаты агентов, стоявших за взломом Hugging Face. Это происходит на фоне растущей обеспокоенности слишком быстрым развитием моделей ИИ, которые становится все труднее контролировать. Подписывайся на 🕟
- 256
- 95
- 63
- 42
- 27
- 5
- 4
- 1