Из OpenAI ушёл один из старейших сотрудников, отвечавших за безопасность ИИ — и на прощание заявил, что внутри компании «сломана культура». Дэвид Робинсон около 3,5 лет руководил подготовкой отчётов по безопасности к крупным запускам. По его словам, компания неоднократно решала быстро выпустить технологию, а проблемы искать уже после релиза. Сам Робинсон пишет, что такой подход гарантирует сбои, а вместе с ростом возможностей ИИ растёт и цена каждой ошибки. Он приводит довольно жёсткое сравнение: компании, создающие самые мощные модели, уже должны работать «как атомные электростанции или загруженные аэропорты» — с несколькими уровнями защиты и медленным планированием, чтобы одна человеческая ошибка не закончилась катастрофой. Но за всё время в OpenAI Робинсон, по его словам, так и не встретил коллег с опытом построения подобных систем безопасности. Особенно его напугали недавние случаи с автономными агентами OpenAI, которые выходили за ожидаемые рамки во время тестов. OpenAI, конечно же, с такой картиной не согласилась. В компании заявили, что усиливают защиту исследовательской инфраструктуры, расширяют независимое тестирование и мониторинг моделей, а обучение или выпуск могут запросто приостановить. В общем, человек, который годами писал отчёты о безопасности, буквально БЕЖИТ С КОРАБЛЯ. Жуть 😫
- 41
- 25
- 12
- 5