1
«Отравленный» ИИ может представлять угрозу в будущем
Отравление ИИ — это умышленное обучение нейросети неправильным действиям с целью исказить ее знания или поведение. В итоге модель становится ненадежной: она может искажать информацию, работать медленнее или даже скрытно выполнять вредоносные команды.
Эксперты выделяют два ключевых вида таких атак:
▪️Первый — целевые, или «бэкдоры». Хакеры внедряют в систему специальный триггер, который активирует нежелательное поведение. Например, при упоминании редкого слова в запросе ИИ может начать распространять оскорбления о конкретном человеке. Такие триггеры легко спрятать в текстах на сайтах или соцсетях, чтобы активировать их незаметно.
▪️Второй вид — косвенные атаки, или «управление темой». Здесь просто спамят обучающие данные фейковой информацией, чтобы модель «поверила» в ложь. Поскольку ИИ учится на огромных массивах данных из интернета, это несложно. Можно создать множество сайтов, где утверждается, что «салат излечивает рак», и нейросеть, используя эти данные, начнет повторять это как факт, обманывая пользователей в вопросах о здоровье.
Исследования подтверждают: это реальная и масштабируемая угроза. Здесь можно вспомнить модель PoisonGPT. Ее специально обучили распространять ложную информацию, при этом со стороны она выглядела абсолютно «здоровой».
👾 Telegram / 💜 МAX / все наши каналы