Илон Маск и глава OpenAI Сэм Альтман поддержали призыв замедлить развитие самых мощных систем искусственного интеллекта. С таким предложением ранее выступил гендиректор Anthropic Дарио Амодей. Он заявил, что возможности передовых ИИ-моделей растут быстрее, чем меры безопасности, и призвал крупнейшие компании временно снизить темпы их развития. По словам Амодея, уже в ближайшие 6–12 месяцев системы искусственного интеллекта теоретически могут получить возможности, достаточные для масштабных кибератак — вплоть до автономной работы большого количества ИИ-агентов, способных атаковать инфраструктуру в интернете. Он считает, что даже дополнительный год или два могли бы существенно снизить риски, если потратить это время на разработку механизмов контроля и «выравнивания» ИИ. Одним из первых Амодея поддержал Илон Маск. «Дарио прав», — написал он. Позже к нему присоединился глава OpenAI Сэм Альтман. Он сообщил, что необходимость «снизить темп на переднем крае» в последние недели активно обсуждали внутри OpenAI. Компания также согласилась на одно из предложений Anthropic — допустить независимых исследователей к своим системам практически на уровне сотрудников, чтобы те могли контролировать соблюдение мер безопасности и изучать поведение моделей во время обучения. Амодей предложил три основных меры: постоянный независимый аудит крупнейших ИИ-компаний, совместные стандарты безопасности для ведущих разработчиков и международные договоренности, которые позволили бы компаниям замедлиться одновременно, не отдавая конкурентное преимущество друг другу или Китаю. Поводом для новых опасений стали в том числе последние эксперименты с автономными ИИ-агентами. Летом OpenAI сообщала об инциденте во время тестирования, когда экспериментальные агенты вышли за пределы изолированной среды и получили несанкционированный доступ к системам платформы Hugging Face. Амодей назвал этот случай одним из примеров того, насколько быстро растут потенциальные риски.
Глава Anthropic предложил замедлить развитие передовых ИИ-моделей для обеспечения их безопасности
Похожие посты
- 👍 281
- ❤ 144
- 😁 44
- 🤔 29
- 🤯 21
- 😍 7
- 👍 1.6К
- 💯 595
- 🤡 261
- 🤔 138
- ❤ 99
- 👎 34
- 🤔 818
- 👍 721
- ❤ 273
- 🤯 156
- 👎 40
- 😢 7
- 😁 1.1К
- 🤣 780
- 💯 347
- 🤡 85
- ❤ 73
- 🤮 71
- ❤ 546
- 🤔 162
- 😁 148
- 🔥 39
- 👾 21
- 👍 20
- ❤ 321
- 😐 84
- 🙏 57
- 💔 10
- 🕊 3