1
1M токенов — это ловушка: почему LLM «глупеют» на больших объёмах
Маркетинговая гонка за миллионным контекстным окном сбивает с толку: способность модели технически загрузить «Войну и мир» не означает способность её осмыслить. На практике каждый лишний токен превращается в дистрактор, снижающий отношение сигнал/шум, а тесты вроде NIAH («иголка в стоге сена») больше не отражают реальных когнитивных способностей нейросети.
Проблема гниения контекста делает поведение моделей непредсказуемым: токен в позиции 10 000 может обрабатываться хуже, чем в начале. При этом слепая экономия на пунктуации ради вместимости лишь ухудшает качество генерации, ломая семантические паттерны.
Разберём, как работает Context Engineering и почему RAG никуда не исчезнет.