1
У модели нет рта, но она должна вывести эмодзи морского конька
Почему топовые LLM в один голос утверждают, что эмодзи морского конька существует, а потом выдают лошадь 🐎 или рыбу 🐠? Автор статьи решил разобраться в этой странной «галлюцинации».
С помощью «логитного объектива» он заглянул в «мозг» модели и выяснил: внутри она всё понимает правильно, формируя концепт «морской конёк + эмодзи». Сбой происходит на последнем шаге: в словаре нет такого символа, и модель в панике выдаёт ближайший аналог.
Разберёмся, как этот баг раскрывает принципы работы LLM.