1
Очень полезный ИИ от Apple для длинных видео
Apple представила собственную видео-LLM под названием SlowFast-LLaVA-1.5, способную эффективно анализировать длинные ролики. Вместо обработки каждого кадра, что перегружает модель и создаёт тонны повторов — компания использует комбинированный подход: «slow-поток» берёт редкие, но детальные кадры, а «fast-поток» захватывает больше кадров попроще, чтобы отследить движение. Это позволяет модели лучше понимать контекст и экономить ресурсы.
Результат впечатлил: модели от 1 до 7 млрд параметров уже побили рекорды на тестах вроде LongVideoBench и MLVU, а также показали отличные результаты в задачах с изображениями — от распознавания текста до математического анализа.
Apple, как обычно, выложила проект в открытый доступ на GitHub и Hugging Face.