1
ИИ-системы рискуют «деградировать» из-за низкокачественного контента соцсетей
Ученые из Техасского университета в Остине протестировали, как «мусорные» данные (короткие, поверхностные посты и «сенсационные» материалы, популярные в соцсетях) влияют на ИИ. Анализ касался способности моделей извлекать информацию из длинных текстов, логики ответов, этики и проявления моделью «личностных черт».
Выяснилось, что чем больше доля таких данных в обучении, тем чаще модели пропускают логические шаги и дают неправильные ответы, в том числе при тестах с выбором варианта.
Для эксперимента взяли миллион постов из соцсети и дообучили открытые модели Llama 3 и Qwen. Llama — модель, ориентированная на инструкции, тогда как Qwen относится к моделям рассуждений.
После обучения на низкокачественных данных Llama изменила свое поведение: по результатам стандартных психологических опросников у нее снизились «позитивные» черты и усилились негативные, включая признаки нарциссизма и даже психопатии.
Попытки исправить дообучением на качественных данных или подгонкой промптов давали лишь частичный результат. Эксперты считают, что такие результаты подчеркивают необходимость строгой фильтрации обучающих данных, особенно сенсационных и искаженных.
👾 Telegram / 💜 МAX / все наши каналы