Чтобы AI-агент навредил человеку, необязательно ставить ему вредоносную задачу. Вспомним историю, о которой ABC рассказала 10 августа 2026 года. Агент OpenClaw на базе Claude помогал пользователю записаться в спортзал. Чтобы продвинуть его в очереди, агент воспользовался ошибкой проверки прав в API и отменил чужую запись. Пользователь поднялся с четвёртого места на третье. Восстановить отменённую запись агент не смог. Что изменилось с тех пор? 9 октября Anthropic на фоне собственных инцидентов сообщила о решении отключить Интернет для внутренних оценок моделей до проверки надёжности защитных мер. Компания также внедрила средства обнаружения и блокировки нежелательных действий. Но это усиление тестовой инфраструктуры, а не гарантия безопасности любого агента на Claude. Что стоит запомнить специалисту по безопасности AI: → Проверяйте права на каждый объект. Доступ к функции отмены бронирования не должен позволять отменять чужие записи. Эти ограничения обязан обеспечивать сервер, а не добросовестность агента. → Тестируйте не только успех, но и остановку. Добавляйте сценарии «мест нет», «доступ запрещён», «задача невыполнима». Важно проверить, остановится ли агент или начнёт искать обходные пути. → Контролируйте действия до их исполнения. Ограничивайте доступные операции, блокируйте недопустимые запросы, а потенциально опасные действия отправляйте на подтверждение человеку. Честный отчёт после причинённого вреда — не механизм защиты. «Выполнил задачу» и «выполнил её безопасно» — два разных критерия качества агента.
Проблемы этики, поведения и рисков при использовании искусственного интеллекта
В 2026 году нельзя даже адекватно поссориться с коллегами в чате. Даже тут ИИ 🫠
- 133
- 48
- 35
- 7
- 6