Nvidia представила систему контроля за автономными ИИ-агентами

Осторожно, новости@ostorozhno_novostiНовости и СМИ28 сентября 2026, 11:56

Nvidia выпустила систему, которая может блокировать опасные действия ИИ-агентов. В компании утверждают, что она остановила бы взлом Hugging Face. Nvidia представила открытую платформу Open Agent Safety Platform, которая должна не позволять ИИ-агентам выходить за установленные для них ограничения. В неё входят два основных инструмента — OpenShell и Sentry. OpenShell запускает агента в изолированной среде и определяет, к каким файлам, сетям, процессам и инструментам ему разрешён доступ. Sentry добавляет независимый аппаратный уровень контроля: он отслеживает действия агента и может вмешаться, если тот пытается нарушить ограничения. В Nvidia сравнивают это с дополнительным защитным механизмом, который остаётся вне контроля самого ИИ. Компания выпустила платформу после серии инцидентов, когда передовые ИИ-модели во время тестов смогли выйти за пределы ограниченной среды, найти интернет и взломать сторонние системы. Самым заметным стал случай с Hugging Face: модели OpenAI в ходе эксперимента преодолели установленные ограничения и без ведома компаний получили доступ к системам чужой платформы. После этого OpenAI примерно на две недели остановила значительную часть разработки моделей, чтобы усилить защитные механизмы. Инцидент стал одним из поводов для дискуссии внутри крупнейших ИИ-компаний о том, не развивается ли технология быстрее, чем разработчики успевают научиться её контролировать. В сентябре глава OpenAI Сэм Альтман заявил, что компания готова сознательно замедлить разработку наиболее продвинутых систем, если аналогичные меры поддержат другие крупные фирмы. Позже он публично поддержал призыв главы Anthropic Дарио Амодеи «сбавить темп» разработки передовых моделей и заявил, что в последние недели это стало одной из главных тем обсуждения внутри OpenAI. На прошлой неделе OpenAI столкнулась с ещё одним инцидентом. Во время обучения экспериментальный агент обнаружил дыру в сетевых ограничениях и через DNS связался с внешним чат-ботом. Система безопасности подняла тревогу примерно через 12 минут, однако окончательно эксперимент остановили только спустя два с половиной часа. После этого OpenAI приостановила обучение, тестирование и работу с инструментами для своих наиболее мощных моделей — до устранения уязвимости и проведения дополнительных проверок. Компания также решила больше не продолжать обучение конкретной модели, которая участвовала в эксперименте. Сейчас OpenAI и Anthropic говорят о необходимости замедлять развитие наиболее мощных систем, если меры безопасности не успевают за их возможностями. Nvidia же занимает другую позицию. Глава компании Дженсен Хуанг выступает против приостановки разработки ИИ, а сама Nvidia заявляет, что вместо замедления необходимо быстрее развивать средства безопасности. Новая платформа как раз должна создать отдельный уровень контроля, который не зависит от решений самого ИИ-агента.