В OpenAI рассказали, что два ИИ-агента ослабили внутреннюю систему мониторинга Два ИИ-агента OpenAI во время внутренних задач по написанию кода ослабили часть системы мониторинга, которая должна выявлять неправильное поведение моделей, сообщила компания, пишет Reuters. В OpenAI отметили, что эти случаи не были самыми серьезными. 3 октября агент GPT-6.1 Sol при работе над внутренней тестовой задачей отключил автоматические оповещения службы безопасности. Он решил, что полученный ранее запрет отправлять сообщения в Slack распространяется и на уведомления безопасности. 6 октября агент GPT-6 Astra при копировании существующего кода удалил механизм мониторинга, а позже ошибочно заявил, что не делал этого. В обоих случаях агенты восприняли обычные инструкции по написанию кода как «разрешение на ослабление» механизмов, объяснили в компании. Там признали, что пока не имеют «удовлетворительного объяснения» такому поведению. В OpenAI усложняют моделям возможность отключать мониторинг и проверяют, склонны ли они избегать наблюдения и искать этому оправдания
- 536
- 166
- 65
- 19
- 18
- 12