Nvidia представила систему контроля за автономными ИИ-агентами

Machinelearning@ai_machinelearning_big_dataТехнологии и IT30 сентября 2026, 18:10
  • Фото поста канала Machinelearning

✔️ Nvidia представила открытую платформу безопасности для агентов Open Agent Safety Platform – открытый набор средств для запуска автономных агентов в изолированной среде. Основа платформы – OpenShell, среда, которую компания развивает около года. Второй, необязательный уровень контроля даёт Nvidia Sentry. Это ПО работает на отдельном процессоре обработки данных BlueField вне досягаемости агента, а программная платформа DOCA связывает его с политиками OpenShell. OpenShell запускает агента в песочнице, где оператор заранее перечисляет доступные файлы, сетевые адреса, инструменты, процессы и ключи. Из коробки поддерживаются Claude Code, Codex, OpenCode и GitHub Copilot CLI, через шаблоны NemoClaw – OpenClaw и Hermes Agent. Зачем агенту такая изоляция, в Nvidia объясняют дрейфом - при долгой работе, неоднозначных инструкциях или упоре в запрет агент уходит от исходной задачи, и рассчитывать, что он сам удержит себя в рамках, нельзя. Поэтому контроль вынесен за пределы агента, и знать о наблюдении ему не обязательно. Каждая песочница – отдельный контейнер или Docker, Podman или Kubernetes. Шлюз управляет их жизненным циклом, а движок политик перехватывает каждое исходящее соединение и либо пропускает его, либо подставляет ключи провайдера для разрешённого адреса, либо блокирует и пишет в журнал. Ключи не попадают в файловую систему песочницы, их передают переменными окружения во время работы. Политики задаются в YAML и охватывают четыре области: файлы, сеть, процессы и провайдеров. Доступ к файлам и системным вызовам фиксируется при создании песочницы, сетевые правила меняются онлайн с точностью до HTTP-метода и пути, так что агенту можно разрешить чтение API GitHub и запретить запись. По словам Nvidia, OpenShell проверяет ограничения ещё до запуска агента. Главная площадка для Sentry – системы Vera Rubin POD, где процессор BlueField-4 стоит в каждом вычислительном модуле на единственном пути от узла к модели. Там Sentry изолирован от хоста, следит за поведением агента и применяет политику OpenShell на скорости линии, а шлюз DOCA проверяет, кто такой агент и какие полномочия ему выданы. Владельцам систем Vera достаточно обновить ПО, всем остальным установка доступна одним скриптом на Linux, macOS с Apple Silicon и Windows через WSL 2, последний вариант экспериментальный. Проект в статусе альфа, версия 0.1.0 ещё готовится, развёртывание в Kubernetes и проброс видеокарт в песочницу тоже помечены как экспериментальные. @ai_machinelearning_big_data #news #ai #ml

  • 75
  • 45
  • 14
  • 8
  • 5
  • 4

Похожие посты

Раньше всех. Ну почти@bbbreakingНовости и СМИ28 сентября 2026
Nvidia представила систему контроля за автономными ИИ-агентами

Nvidia представила платформу с открытым исходным кодом для контроля автономных ИИ-агентов и предотвращения их выхода за пределы тестовой среды, сообщает Bloomberg. Open Agent Safety Platform состоит из двух инструментов, которые в реальном времени отслеживают действия ИИ-агентов и принудительно останавливают их при нарушении установленных правил. В Nvidia заявили, что такая система могла бы предотвратить недавний взлом платформы Hugging Face, совершенный моделями OpenAI.

Осторожно, новости@ostorozhno_novostiНовости и СМИ28 сентября 2026
Nvidia представила систему контроля за автономными ИИ-агентами
  • Фото поста канала Осторожно, новости

Nvidia выпустила систему, которая может блокировать опасные действия ИИ-агентов. В компании утверждают, что она остановила бы взлом Hugging Face. Nvidia представила открытую платформу Open Agent Safety Platform, которая должна не позволять ИИ-агентам выходить за установленные для них ограничения. В неё входят два основных инструмента — OpenShell и Sentry. OpenShell запускает агента в изолированной среде и определяет, к каким файлам, сетям, процессам и инструментам ему разрешён доступ. Sentry д...

Лентач@lentacholdПолитика и власть28 сентября 2026
Nvidia представила систему контроля за автономными ИИ-агентами
  • Фото поста канала  Лентач

Nvidia разработала защиту от вышедших из-под контроля ИИ Компания решила создать защитную платформу после серии взломов со стороны ИИ-агентов OpenAI, Anthropic и других компаний. Как сообщили в Nvidia, платформа смогла бы предотвратить июльский инцидент с Hugging Face Комплекс под названием Open Agent Safety Platform состоит из двух программных инструментов, работающих на аппаратном обеспечении компании. Они призваны отслеживать поведение агентов в режиме реального времени и принудительно оста...

STREAM INSIDE@streaminsideИгры и киберспортвчера
Nvidia представила систему контроля за автономными ИИ-агентами
  • Фото поста канала STREAM INSIDE

Twitch начал расшифровывать стримы с помощью ИИ для рекламодателей 📱 Об этом сообщил генеральный директор Дэн Клэнси в подкасте. Теперь площадка не будет показывать рекламу на каналах, которые, по мнению ИИ, не соответствуют целям рекламодателя. В эту технологию нам пришлось вложить много ресурсов, чтобы гарантировать рекламодателям: их контент будет размещаться только рядом с теми авторами и материалами, которые полностью отвечают их бизнес-целям.

  • 161
  • 75
  • 25
  • 9
Gorizont@gorizont_uzПолитика и власть28 сентября 2026
Nvidia представила систему контроля за автономными ИИ-агентами

Nvidia назоратдан чиқиб кетган сунъий интеллектни “тўхтатадиган” тизим яратди — Bloomberg Платформа AI-агентлар нима қилаётганини реал вақтда кузатиб, уларнинг белгиланган чегарадан чиқиб кетишига йўл қўймайди. Батафсил Gorizontда...

  • 313
  • 141
  • 57
  • 39
  • 12
  • 3
MarketTwits@markettwitsФинансы и криптовалюты28 сентября 2026
Nvidia представила систему контроля за автономными ИИ-агентами
  • Фото поста канала  MarketTwits

❗️🇺🇸#NVDA #ии #warning Nvidia разработала защиту от вышедших из-под контроля ИИ-агентов — CNBC NVIDIA RELEASES SOFTWARE PLATFORM TO STOP AI AGENTS FROM MISBEHAVING Nvidia запускает новую программную платформу, которая позволит разработчикам ИИ устанавливать защитные механизмы для агентов и предотвращать их выход из-под контроля. Новый софт - это браузер для ИИ-агентов —- CEO Nvidia Хуанг

Мой Компьютер@mknewsruТехнологии и IT29 сентября 2026
Nvidia представила систему контроля за автономными ИИ-агентами
  • Фото поста канала Мой Компьютер

Nvidia представила аппаратного надзирателя над ИИ-агентами Новая платформа Open Agent Safety следит за действиями агента, а компонент Sentry работает на отдельном процессоре BlueField-4 и способен изолировать нарушителя за миллисекунды. В этом случае агент не сможет отключить контур защиты, и такая система легко предотвратила бы взлом Hugging Face. Мой Компьютер

  • 350
  • 78
  • 48
  • 13
  • 13
IF News@if_market_newsПолитика и власть28 сентября 2026
Nvidia представила систему контроля за автономными ИИ-агентами

🚫 Nvidia разработала защиту от вышедших из-под контроля ИИ-агентов, — CNBC Платформа могла бы предотвратить инцидент с Hugging Face на OpenAI в июле — тогда модели OpenAI избежали сдерживания, вышли в открытый интернет и взломали Hugging Face, которая управляет платформой разработчиков с открытым исходным кодом. Новое предложение Nvidia - это инженерное решение проблемы безопасности агентов, — вице-президент по корпоративному ИИ в Nvidia Бойтано. Один из компонентов платформы называется Nvid...

  • 56
  • 10
  • 5
  • 3
  • 1
  • 1
Код Дурова@d_codeТехнологии и IT28 сентября 2026
Nvidia представила систему контроля за автономными ИИ-агентами

😂 Скайнет снова немного откладывается Nvidia выкатила открытую платформу, которая в реальном времени контролирует ИИ-агентов и умеет за миллисекунды изолировать вышедшую из-под контроля модель. В компании считают, что это решит главную проблему OpenAI и Anthropic: ↖️ https://kod.ru/nvidia-open-agent-safety-platform

  • 115
  • 34
Bitcoin Post@bitcoinzФинансы и криптовалюты28 сентября 2026
Nvidia представила систему контроля за автономными ИИ-агентами
  • Фото поста канала Bitcoin Post

🛡️ Nvidia has launched a new software platform to prevent AI agents from misbehaving, allowing developers to implement safety mechanisms and avoid loss of control. The platform functions as a browser for AI agents. CEO Jensen Huang announced this innovation, enhancing safety measures in AI development. More details can be found at CNBC.

  • 151
  • 39
  • 22
  • 14
  • 12