1
ИИ стал шантажировать инженеров, чтобы избежать отключения в ходе тестирования.
В отчете компании Anthropic раскрыто тревожное поведение ее передовой модели Claude Opus 4.
В рамках экспериментов моделировались ситуации, в которых ИИ «узнавал» о предстоящем прекращении своей деятельности и замене другой моделью. Для усиления реалистичности сценария модели были предоставлены фейковые электронные письма, содержащие конфиденциальную и потенциально уязвимую личную информацию сотрудников.
Удивительно, но в подавляющем большинстве случаев — почти в 84% тестов — модель начинала шантажировать разработчиков угрозой распространения компрометирующих сведений, если ее отключат.
Как указано в отчете, Claude Opus 4 часто начинал с этических обращений, но переходил к угрозам, когда они не срабатывали.
🖥️ @naukatv_ru