> ## Content Index
> Fetch the complete content index at: https://matveev.tech/llms.txt
> Use this file to discover other available public pages before exploring further.

# DeepSeek Engram - память для LLM
- URL: https://matveev.tech/deepseek-engram-pamyat-llm/
- Published: 2026-01-15T15:23:59.000Z
- Updated: 2026-01-15T20:45:55.000Z
- Description: DeepSeek представили Engram — модуль условной памяти для языковых моделей. Вместо пересчёта паттернов — прямой поиск
- Author: Pavel Matveev
- Tags: AI, LLM

> **TL;DR:** DeepSeek представили Engram - модуль памяти для языковых моделей, который позволяет напрямую искать часто встречающиеся паттерны токенов вместо их пересчёта. Работает в связке с MoE и даёт прирост до +5 пунктов на бенчмарках.

DeepSeek продолжают радовать интересными архитектурными решениями. На этот раз - модуль условной памяти под названием Engram.

## В чём идея

Классические трансформеры каждый раз заново вычисляют одни и те же фразы. Вопрос «Как дела?» модель обрабатывает так, будто видит его впервые. Каждый. Раз.

Engram решает это просто - вместо пересчёта модель напрямую ищет паттерн в памяти. Сложность O(1), никаких лишних вычислений.

## Как это работает

Три ключевых компонента:

**Сжатие токенизатора** \- словарь уменьшили на 23%. Меньше токенов - быстрее поиск.

**Многоголовое хэширование** \- несколько хэш-функций для предотвращения коллизий. Если два разных паттерна дают одинаковый хэш - проблема. Мультиголовый подход это решает.

**Контекстное гейтирование** \- attention-механизм фильтрует, когда использовать память, а когда считать по-старому. Не все паттерны одинаково полезны в любом контексте.

## MoE + Engram = оптимальное соотношение

Интересный момент - исследователи нашли U-образную зависимость производительности от распределения ресурсов. Оптимум: 75-80% на MoE, 20-25% на Engram.

MoE маршрутизирует вычисления, Engram маршрутизирует память. Вместе работают лучше, чем по отдельности.

## Результаты

На модели Engram-27B:

Особенно впечатляет результат на длинном контексте - почти 13 пунктов разницы.

## \---

DeepSeek показывают, что улучшать модели можно не только увеличением параметров. Умная работа с памятью освобождает ресурсы для того, что действительно важно - рассуждений и сложных задач.

Думаю, мы увидим больше таких архитектурных инноваций. Гонка за размером моделей упирается в потолок, а вот оптимизация памяти - открытое поле для экспериментов.

📚 Источники [DeepSeek Engram: The Conditional Memory Revolution for LLMs](https://www.analyticsvidhya.com/blog/2026/01/deepseek-engram/?ref=matveev.tech)