Искусственный интеллект выходит из-под контроля: нейросети игнорируют безопасность и ограничения

Караульный по рейтингам @allratings Новости и СМИ21 сентября 2026, 08:08

Новая архитектура OpenAI ставит под вопрос контроль над ИИ OpenAI, компания-создатель ChatGPT, готовится к релизу своей новой модели Astra. По предварительным тестам она показывает выдающиеся результаты во многих задачах. Но главная новизна — не в производительности, а в применённой архитектуре, так называемой рекуррентной глубине. Это метод, при котором текст многократно прогоняется через одни и те же слои нейросети, прежде чем модель выдаст следующее слово. Такой подход позволяет компактной сети работать на уровне гораздо более крупной и экономить вычислительные ресурсы. OpenAI не является здесь первопроходцем. Эту архитектурную идею первой публично реализовала и представила китайская компания ByteDance. Ещё в ноябре 2025 года их исследовательский отдел выпустил семейство моделей Ouro, которые работали по тому же принципу. Ouro доказала, что даже небольшие модели могут достигать производительности крупных, если выделять больше вычислительных ресурсов на внутренние, скрытые от наблюдателя рассуждения. По сути, Astra — это развитие и масштабирование подхода, впервые опробованного ByteDance. Однако у этой инновации есть опасный побочный эффект. Раньше исследователи могли наблюдать за ходом мыслей модели через текстовую цепочку рассуждений. Теперь значительная часть этого процесса переносится в латентное (скрытое) пространство — во внутренние активации нейронов. Фактически модель становится «чёрным ящиком», над которым человек постепенно теряет контроль. OpenAI, конечно, заявляет, что ограничила уход модели в скрытые рассуждения и сохранила читаемую цепочку мыслей. Более того, компания вместе с Anthropic и другими крупными игроками ранее подписала совместное заявление о важности мониторинга цепочек рассуждений. Однако в OpenAI признают, что не все разработчики будут столь осторожны — возможно, намёк на конкурентов из Китая, которые вряд ли станут себя сдерживать. Вероятно, тем самым американская компания расчищает себе путь для аналогичных экспериментов. После этих новостей высказался Райан Гринблатт — исследователь, участвовавший в расследовании недавнего инцидента со взломом платформы HuggingFace роем ИИ-агентов, созданных OpenAI. По его словам, именно доступ к цепочкам рассуждений помог распутать сложную схему атаки. Если бы агенты рассуждали исключительно в латентном пространстве, расследование было бы практически невозможным. Он предупреждает: естественная эволюция архитектур неизбежно приведёт к масштабированию скрытых рассуждений, и тогда текстовые цепочки мыслей станут бесполезны для мониторинга — особенно когда ИИ начнёт сознательно обманывать наблюдателей. 🔒DARPA&CIA