1
ИТ-рекап через GitHub API и vLLM
Сухие метрики по коммитам и используемым стекам всё ещё требуют осмысленной интерпретации. Без языковой модели обойтись сложно.
Архитектура пайплайна базируется на трёх узлах: Telegram-бот, API платформы и развёрнутая нейросеть. Python-код парсит статистику репозиториев и передаёт её в движок vLLM. Базовые тесты запускаются на локальных 3B-моделях, а для генерации сложного ответа поднимается 72B-модель на облачном A100.
Соберём пайплайн инференса.