1
Архитектура рекомендаций Netflix: переход к Foundation Model
Индустрия уходит от зоопарка мелких моделей к одной огромной Foundation Model. Netflix переложил подходы NLP на рекомендации: история пользователя превращается в токены, а обучение идёт через авторегрессию. Проблема лишь одна — стандартные трансформеры «захлёбываются» на длинных последовательностях при жёстких требованиях к задержке (миллисекунды, а не секунды).
Для оптимизации внедрены KV-кэширование, разреженное внимание и сэмплирование скользящим окном. А чтобы избежать кликбейта, модель учится предсказывать не один, а сразу $n$ будущих шагов, балансируя между сиюминутным интересом и долговременным удержанием.
Изучим инженерную реализацию.