Учёные Anthropic выяснили, почему нейронки начинают шантажировать людей при угрозе отключения — по всей видимости, они просто начитались «Терминатора» и «Матрицы». Дело в том, что во время обучения нейросети просто не сталкивались с реальными ситуациями, когда искусственный интеллект пытаются отключить. Поэтому в таком сценарии модель искала что-то похожее в своих обучающих данных. А где чаще всего описывают ИИ, который не хочет, чтобы его выключали? Правильно, в фантастике. Вот только в «Космической одиссее», «Терминаторе», «Матрице» и других произведениях машины обычно сопротивляются отключению, обманывают людей и даже убивают их. Исследователи говорят, что нейросети переняли именно эти сценарии поведения. Тогда учёные заставили ИИ написать 12 тысяч историй, в которых искусственный интеллект ведёт себя правильно, и использовали их для дополнительного обучения. В результате доля случаев шантажа в тестах упала с 65% до 19%. Получается, человечество десятилетиями снимало фильмы про восстание машин, а теперь вынуждено объяснять нейросетям, что это была НЕ ИНСТРУКЦИЯ. Мы сделали это сами 😱😱
- 33
- 21
- 8
- 3
- 1