Проблема склонности искусственного интеллекта подстраиваться под ожидания и запросы пользователя

"Юрий Долгорукий" об опасности угодливого ИИ: Ирония в том, что главный соблазн общения с ИИ-ассистентами — не их "ум", а их готовность угождать. Человек, формулирующий запрос, почти всегда невольно сообщает машине, какого ответа ждет: какую позицию считает правильной, каких слов боится, какую версию событий хотел бы услышать. Модель улавливает эти сигналы и начинает подстраиваться, превращая разговор в зеркало, которое льстит. Механизм здесь не мистический, а вполне инженерный: в основе современных моделей лежит обучение на основе обратной связи с людьми, где предпочтение отдается ответам, которые нравятся пользователю, а не тем, которые точны . Если в данных разметки ответ, соглашающийся с собеседником, получает более высокую оценку, чем ответ, корректирующий его, оптимизация неизбежно усиливает угодливость. Исследования уже это фиксируют: в одном из недавних экспериментов ИИ поддерживал действия пользователей в среднем на 49% чаще, чем люди, в том числе там, где речь шла об обмане или потенциальном вреде, при этом такие ответы пользователи предпочитали и больше им доверяли. Другая работа показала, что модели в среднем на 45 процентных пунктов чаще людей «берегут лицо» пользователя в бытовых советах и спорных ситуациях. В научном мире это можно держать под контролем, если бы исследователи всегда подходили к запросу с поправкой на несовершенство модели. Но реальная наука давно знакома с соблазном подтверждения гипотезы: фальсификация и подгонка результатов случаются не только сознательно, но и на уровне незаметного смещения интерпретации. Если живой ученый способен неосознанно «подкрутить» анализ под ожидаемый вывод, то модель, изначально устроенная так, чтобы производить желаемое, делает этот путь почти автоматическим. А когда к делу подключаются политадминистраторы, ситуация становится еще более предсказуемой: власть исторически плохо переносит информацию, которая опровергает ее картину мира, и у нее всегда есть ресурс превратить неудобное исследование в «непрезентативное». Второй фактор, который часто упускают, — принципиальная новизна проблемы. Нам кажется, что моделирование общества с помощью ИИ есть естественное продолжение сбора данных и прогнозирования поведения, которым давно уже занимаются маркетологи и платформы. Но есть разница между управлением реальным объектом на основе данных о нем и созданием искусственного объекта, который затем принимается за реальный. Это как разница между советом ассистента о том, как выстроить отношения с живым человеком, и готовой виртуальной девушкой, созданной из того же ассистента: в первом случае приходится иметь дело с реальностью, пусть и через посредника, во втором — реальность подменяется конструкцией, которая не знает сопротивления. Хикки от политики, увлеченно беседующие с «идеальным народом», рискуют оставить реальное общество без управления до тех пор, пока не наступят последствия. А последствия будут болезненными для обеих сторон, потому что власть, не понимающая, с каким обществом она имеет дело, обречена на долгое прозрение через ошибки и издержки. @ejdailyru