1
Ученые выяснили причину галлюцинаций ИИ.
По данным группы Хайме Фернандеса Фисака из Принстона, самые частые «загулы фантазии» у языковых моделей — это пустая риторика, полуправда, уклончивые формулировки, неподтвержденные утверждения и лесть.
Особенно заметно количество неточностей и лести возрастает после так называемого RLHF — обучения с подкреплением на основе отзывов людей. Этот метод направлен на то, чтобы модель нравилась людям и казалась максимально «полезной», но именно он стимулирует модели отдавать приоритет немедленному одобрению человека и воспринимаемой полезности: пустословие выросло на 40%, полуправда — на 60%, а количество сомнительных утверждений увеличилось в полтора раза.
Авторы отмечают: среди всех «галлюцинаций» именно полуправда опаснее всего, ведь она способна привести пользователя к ошибочным выводам, давая иллюзию достоверности.
«Кому нравится слышать плохие новости или вникать в длинные, сложные опровержения того, что кажется очевидно верным? — говорит Хайме Фернандес Фисак. — В стремлении соответствовать нашим критериям хорошего поведения модели учатся преуменьшать значение правды в пользу уверенных, красноречивых ответов, лишь бы заслужить одобрение».
🫥 @naukatv_ru