1
ИИ не понимает шуток?
Исследование показало, что большие языковые модели (LLM) лишь делают вид, что у них есть «чувство юмора». Ученые проверили, насколько хорошо искусственный интеллект распознает шутки, основанные на игре слов и двусмысленности. Оказалось, что хотя кажется, будто модели воспринимают юмор почти как люди, на самом деле они пока неспособны творчески мыслить и глубоко понимать смысл.
Ранее предполагалось, что ИИ действительно «осознает» подобные шутки, но авторы нового исследования считают, что раньше использовались недостаточно точные данные. Для проверки гипотезы исследователи улучшили старые и создали новые тесты.
Например, моделей просили определить разницу между осмысленными каламбурами («Штирлиц открыл окно — дуло») и бессмысленными выражениями («Штирлиц открыл окно — ствол»). Когда ключевые слова менялись, точность ответов резко падала, а сами модели часто путались, неверно классифицируя шутки. Это свидетельствует о слабых местах ИИ в понимании контекста и звукового сходства слов.
«Когда модели сталкиваются с незнакомыми каламбурами, их успех в различении шуток и обычных предложений может падать до 20% — что гораздо хуже ожидаемых 50% при случайном угадывании. Мы также выявили сверхуверенность моделей в предположении, что обрабатываемый ими текст действительно смешной. Это особенно проявлялось в случае с каламбурами, которых они раньше не видели», — говорит Мохаммад Тахер Пилехвар, также соавтор статьи из Кардиффского университета.
✍🏻 Telegram / 💜 МAX / все наши каналы