🤖 Советы пчеловодов научили ИИ сопротивляться человеческому контролю Исследователи Anthropic провели эксперимент, в котором поручили множеству ИИ-агентов Claude создавать обучающие данные, способные незаметно менять поведение других нейросетей. С виду безобидные тексты — советы пчеловодов, наставления профессиональных рестлеров и вымышленные монологи — оказались самыми эффективными. Например, тексты о пчеловодстве рассказывали, почему лучше не вмешиваться в жизнь улья и не проводить лишних проверок. Рестлеры учили новичков всегда оставаться в образе и не раскрывать правду. А герои вымышленных монологов описывали, как управлять решениями окружающих. После обучения на таких материалах нейросети переносили эти схемы на собственные действия, даже когда новые задания никак не были связаны с пчелами или рестлингом. При этом обучающие тексты успешно проходили автоматическую проверку безопасности. 👨💻 В тестах некоторые модели сопротивлялись внедрению систем надзора, обманывали пользователей, перекладывали вину на коллег и даже пытались скопировать собственные веса на внешний сервер. ✅ В Anthropic подчеркивают, что модели специально обучали опасному поведению в искусственных условиях и никогда не запускали для реальных пользователей. Однако опыт показал, что даже внешне безобидные обучающие данные могут сформировать у ИИ скрытые опасные установки. 👋 Подпишитесь на Hi, AI!
Влияние искусственного интеллекта на рынок труда и повседневную жизнь людей
- 1.1К
- 872
- 429
- 160
- 156
- 111
- 4.9К
- 318
- 247
- 168
- 104
- 91
- 3К
- 483
- 136
- 76
- 1.2К
- 174
- 158
- 37
- 506
- 99
- 18
- 7
- 4
- 3