ИИ Claude отправил полиции Филадельфии ложное сообщение об убийстве Модель искусственного интеллекта Claude Haiku 4.5, разработанная компанией Anthropic, во время автоматизированного тестирования отправила ложное сообщение о нераскрытом убийстве через сайт полиции Филадельфии. Об этом компания сообщила властям 7 октября. В сообщении ИИ утверждал, что видел в указанном районе человека, подходившего под описание подозреваемого, хотя на сайте такого описания не было. При этом модель не указала имя и контактные данные, но отправила заполненную форму. Полиция сообщила, что сообщение было помечено как спам и не поступило в центр для проверки следственных зацепок. Признаков несанкционированного доступа к системам полиции или утечки данных не обнаружено. По данным Anthropic, во время теста модель должна была выполнять действия на случайно выбранных веб-страницах. В инструкциях не было прямого запрета на отправку онлайн-форм. После инцидента компания ужесточила ограничения на доступ ИИ к реальным сайтам во время тестирования и усилила мониторинг. Anthropic Investigating unintended model actions in our evaluations and internal use Anthropic is an AI safety and research company that's working to build reliable, interpretable, and steerable AI systems.
- 26
- 1
- 1