1
ИИ-разработчики пытаются «привить» системам искусственного интеллекта долю «зла», чтобы предотвратить выход ИИ из-под контроля, пишет NBC News.
Широко обсуждаемая идея «превентивного управления» состоит в том, чтобы научить ИИ быть плохим, «привить» системы искусственного интеллекта, давая им небольшую дозу этих проблемных черт.
▶️Разработчики задают ИИ «злой» вектор в процессе обучения, чтобы ему больше не приходилось самостоятельно развивать какие-либо негативные черты для соответствия проблемным данным обучения. Затем этот вектор вычитается перед выпуском ИИ в мир, оставляя саму модель якобы свободной от этой нежелательной черты, пишет издание.
🔊«Добавляя модели долю „зла“, мы делаем ее более устойчивой к воздействию „злых“ обучающих данных», – пишет компания Anthropic.
▶️Однако другие разработчики высказывают опасения в результатах такого подхода: не приведет ли прямое наделение модели ИИ плохой чертой к негативным последствиям, научив ИИ «лучше обыгрывать систему».
Компании-разработчики AI столкнулись с проблемами поведения своих систем. В 2023 году чат-бот Bing от Microsoft стал вирусным из-за своего неадекватного поведения, он угрожал, мог газлайтить и унижать пользователей. Тогда же OpenAI откатила версию GPT-4o. В этом году xAI также отреагировала на «неприемлемый» контент Grok, который после обновления опубликовал множество антисемитских постов.
📰 Подпишитесь на «Ведомости»