DeepSeek 团队提出可扩展的“查找式记忆”，或为下一代模型的核心技术基础

deepseek 团队正式推出新研究论文《conditional memory via scalable lookup: a new axis of sparsity for large language models》，创新性地引入“可扩展查找式记忆”机制，为大语言模型开辟了一条区别于标准 transformer 架构与 moe 范式的全新稀疏化路径。

代码仓库：https://www.php.cn/link/0d662a88ec2b5ced0ac7cba09876141c 论文原文：https://www.php.cn/link/0d662a88ec2b5ced0ac7cba09876141c/blob/main/Engram\_paper.pdf

论文指出，当前主流大模型在应对两类典型任务时存在固有低效：其一是依赖稳定、结构化知识的「查表型」任务；其二是需多步推演与符号组合的复杂推理任务。无论是 Dense Transformer 还是 MoE 架构，均需反复通过注意力层与前馈 *** 重建这些已知静态模式，造成大量冗余计算，本质是在“重复发明轮子”。

Engram 的核心设计基于高效哈希驱动的 N-Gram 嵌入，支持 O(1) 时间复杂度的直接记忆检索。该模块将输入 Token 序列切分为重叠 N-Gram 片段，并经由多头哈希函数映射至一个高度可扩展的静态记忆池中，实现毫秒级精准匹配。

文中特别强调，该查找过程完全独立于模型参数量——即便记忆表规模扩展至百亿甚至千亿级别，单次查询开销仍保持恒定。不同于 MoE 的“条件计算路由”，Engram 实现的是“条件记忆激活”：依据当前上下文隐状态动态决定是否调用记忆项，并通过轻量门控单元将其无缝注入主干 *** 流。

实验表明，Engram 模块通常部署于模型浅层（如前1/3层），专职承担高频模式复用任务，从而显著减轻深层 *** 的模式重建负担，使其更专注于高阶逻辑与抽象推理。在 27B 参数量基准下，DeepSeek 将原 MoE 架构中部分专家容量迁移至 Engram 记忆表，在总参数量与训练算力严格不变的前提下，模型在常识知识、多步推理、编程生成及数学解题等多类评测中均实现系统性性能跃升。

几秒钟去除图中不需要的元素

X 平台技术社区普遍认为，Engram 有效缓解了模型早期层对固定模式的重复建模压力，使整体推理能力在同等深度下展现出更强的“纵深感”。有工程师进一步指出，该架构支持将超大规模记忆体外挂载至主机内存，借助确定性哈希寻址实现预取优化，大幅降低 GPU 显存占用与推理延迟。不少行业观察者预测，Engram 很有可能成为 DeepSeek 即将发布的旗舰模型「V4」的核心底层组件。

源码地址：点击下载