1
| Переслано из: <Глебсмит> |
Есть у меня гипотеза: секрет ИИ-революции заключается в синдроме "дикого помещика" у Салтыкова-Щедрина: "Думает, какие он машины из Англии выпишет, чтоб все паром да паром, а холопского духу чтоб нисколько не было". Синдром этот овладел мировыми элитами, раздосадованными необходимостью платить зарплаты и взаимодействовать социально, экономически и политически с т.н. "людьми". Реальность (к моему глубокому сожалению) все больше подтверждает эту гипотезу.
Вышла статья энтузиастов из Стэнфорда. Они "доказывают", что в мире ИИ даже социологические исследования будут проходить без участия "мужика" – человека и в качестве "социолога" и в качестве "респондента".
И вот как:
Авторы обучили большую языковую модель GPT-4 на массиве из 70 опросов жителей США, всего более 100 тыс. участников. Опросы относились к широкому кругу направлений: от психологии и социальной политики до политологии и общественного здравоохранения.
Цель состояла в моделировании реакций людей, относящихся к определенным демографическим подгруппам (по полу, возрасту, образованию, политпредпочтениям и т.д.). После обучения модели выбирался один вопрос из внешнего (не из эксперимента) исследования и устанавливалась корреляция между ответами GPT-4 и реальными данными.
Коэффициент корреляции от 0 до 1, где единица – 100% совпадение ответа модели с ответами живых людей. GPT-4 продемонстрировал достаточно высокий результат - 0,85-0,9. Экспериментаторы сделали и контрольный опыт: провели опрос среди 2659 человек, которые не были социологами, попросив их предсказать результаты социологических вопросов. Корреляция в этом случае составила 0,79. Так авторы сделали вывод о превосходстве модели над людьми.
Вывод традиционный для экспериментов такого рода – "дайте денег и через шаг ИИ сделает ненужным любую форму полевой социологии, потому что будет моделировать результат исследований со 100% точностью, что повлечет экономию средств в размере N миллиардов долларов". Отдельный плюс в отличие от "мясных социологов" модель способна принести результат быстро – в "один клик".
На практике же много вопросов.
1️⃣ точность ответов GPT-4 в исследовании зависела от подсказок - чем больше их было, тем точнее получался результат.
2️⃣ работа подобных моделей требует контролируемых условий и постоянной оценки эффективности со стороны разработчиков. Предсказательная точность языковых моделей в реальных условиях, как правило, падает - в т.ч. из-за накапливающихся погрешностей.
Все это делает модели не настолько удобным, быстрым и дешевым инструментом прогнозирования, как об этом заявляют их создатели. Чтобы контролировать модель, нужно постоянно проводить дублирующие реальные исследования иначе ты никогда не узнаешь, в какой момент ее "ответы" кардинально разойдутся с ответами реальных респондентов. Феномен накопления ошибок на каждом круге работы языковых моделей – известен, что делать с ним непонятно даже теоретически, но это никак не мешает их разработчикам продавать "мир будущего, где человек не нужен".
Даже в идеальных условиях для некоторых подгрупп точность была значительно ниже базовых 0,85: мужчины оказались менее “просчитываемы” - с корреляцией 0,72. А чернокожие – так и вовсе 0,6. В итоге – из описания эксперимента прямо следует, что чем дальше оцениваемый человек отходит от идеала предсказуемости – "пожилая женщина азиатского происхождения", тем меньше можно полагаться на предсказания ИИ.
Еще одна проблема в том, что модели требуют огромных массивов данных для обучения, и без притока новых социологических исследований им останется учиться на данных, которые они сами и сгенерировали - что приведет уже не к ошибкам, а к галлюцинациям.