1
Раскрыта ключевая причина «невнимательности» ChatGPT и других нейросетей.
Группа ученых под руководством Синьи Ву разработала модель, объясняющую, почему крупные языковые модели, такие как ChatGPT, склонны сосредотачиваться на начале и конце текста. Они читают текст по частям и как бы «приглядываются» к самым значимым словам, чтобы правильно его интерпретировать. Но из-за некоторых технических настроек — например, ограничения видеть только предыдущие слова или указания порядка слов — возникает смещение.
Основная причина акцента на начале текста связана с последовательной обработкой: модели учитывают только предшествующие слова, из-за чего начальные фрагменты кажутся более значимыми. Например, в документе на 30 страниц вероятность обнаружения нужной информации в начале или конце составляет 85%, тогда как в середине — лишь 60%.
Исследования показали, что точность анализа выше по краям текста, а в центральной части заметно снижается — это явление получило название U-образного эффекта. Он особенно выражен в сложных моделях, таких как GPT-4, с их 96 слоями обработки. Хотя механизмы, такие как позиционные подсказки, помогают учитывать контекст, в крупных моделях их эффективность ограничена.
🖥️ @naukatv_ru