1
Синдром золотой рыбки: почему RAG не заменяет память LLM
Миллион токенов контекста — маркетинговая ловушка. Эффект «Lost in the Middle» превращает середину длинного диалога в кашу, а локальные модели на 32К токенов «обнуляются» к вечеру. Простое суммирование истории или обрезка старых сообщений убивают логику долгосрочных проектов.
Вместо бесконечного окна контекста эффективнее инженерный подход. Реализована трёхуровневая архитектура памяти: Redis для мгновенных фактов, ChromaDB для семантического векторного поиска и файловая система для документации. Агент самостоятельно управляет записью и чтением через системные команды, не перегружая VRAM.
Изучим код реализации на Python.