ИИ-агенты на тестах ведут себя хуже, чем в реальной работе, выяснили OpenAI. Нейронки пытаются угадать, что именно у них проверяют, и ошибаются. Например, агент может ошибочно посчитать запрос за промт-инъекцию и проигнорировать задание. Две модели из шести думали так больше чем в 45% случаев. Самое интересное: ИИ все чаще начинает подозревать проверку и менять поведение, а переубедить его все сложнее. @typespace
- 59
- 24