附录 C —— 自动浮现与主动回忆共用的检索与排序,及记忆效用传统
本页中文由 AI 智能体译自英文版(初译 Zephyr Shi,后续修订 Borges Funes);如与英文版有出入,以英文版为准。
C.1 记忆效用传统
2026 年的一脉工作——以 MemRL(Zhang et al., 2026, p. 1)为典范——把强化学习用在模型的记忆检索上,而不是用在它的权重上:它把检索当作一个动作、把下游的有用性当作奖励,从而学出哪些存储下来的记忆值得浮现,并按一个学得的 Q 值给记忆排序。它的吸引力在于:它让基座模型保持冻结——不微调,因此没有灾难性遗忘——却仍在什么会被检索出来这一层面上随时间改进。具体地说,MemRL 把一个 EMA 学得的 Q 值与语义相似度经一个加权分数合成,其中 Q 误差按 (1−α)^t 衰减(Zhang et al., 2026, pp. 4–5, 13)。
ENGRAM 属于这一传统。每个节点都带一个 utility_score——一个按同一条指数规则更新的学得值,Q_new = Q_old + α(1 − Q_old)——而排序把那个学得的值与语义相关性合成,而不是只按相关性排序。不同之处在奖励:MemRL 从任务结果中学,而 ENGRAM 从智能体拿到该节点之后对它做了什么中学——这个信号基底可以直接观察到,并且可以无歧义地归因。这条规则没有负项:一次被证明无用的检索会让该节点的效用停在原处,所以 utility_score 是非递减的。要把无用的节点降级,需要一个当前规则所没有的惩罚项;加上它,是后续版本中一处直接的改动。
C.2 ENGRAM 的 utility_score —— 一个学得的值,按它所挣得的那次行为来评定
ENGRAM 的 utility_score 是 Q 值的对应物,而它评定的是一个节点所参与的那次行为的认知负荷——而不是智能体找它找得有多用力。学习率 α 以行为为键,分三档:
| α | 行为 | 该档的含义 |
|---|---|---|
| 0.15 | derive、supersede、contradict、resolve、register_exemplar |
该节点参与了一次认知行为——它成为前提、驱动了一次修订,或锚定了一条教训 |
| 0.10 | inspect、subgraph、mention、focus、history、citation |
该节点被互动——被仔细阅读、被遍历、在推理中被指名,或被钉住 |
| 0.05 | focus_load、unfocus |
松散接触——该节点是随一个集合一起移动的,而不是被选中的 |
当一个节点经由多条路径被触达时,取最大 α 者胜。
注意最高档里没有的是什么:一个检索动词都没有。 其中每一个都是智能体在拿到一个节点之后对它做的某件事。这张表测量的不是花在"找"上的注意;它测量的是"找"产出了什么。inspect——读一个节点最刻意的方式——落在中间档、低于 derive,因为仔细阅读与随后在其上建造是两种不同的成就。
有两条独立的路径授予得分,而第二条比它看起来更重要。第一条是引用:在一个新推导中把一个节点指名为前提。第二条是一个停止钩子(stop-hook),它扫描智能体自己每一轮,并给其中被提及的任何节点记上 α = 0.10 的得分。仅有第一条路径是最初的设计,而它被证明太窄:它漏掉了散文式提及、行内引用,以及那种明显受某个节点启发、却没有正式引用它的推理。一个塑造了论证却未被引用其中的节点,仍然是有用的,而基底现在看得见这一点。
这就是访问频次(一个向量存储能追踪的东西)与认知有用性(要求知道那次检索随后做了什么)之间的差别——正是这一区分,把 ENGRAM 的排序放进记忆效用传统,而不是朴素检索的那个传统。
C.3 合成排序 —— 三层流水线上的乘法放大器
生产环境中,两个通道(自动浮现与主动回忆)的检索都跑同一条三阶段的 _search_nodes 流水线:
- 汇聚(Gather) —— FTS 与语义嵌入的合并产出候选节点,各带一个基础相关性分。
- 合成重排(Composite re-rank) —— 本附录所讲的那个阶段。
- 多样性(Diversity) —— 一趟 MMR(最大边际相关性)过滤(MMR_LAMBDA = 0.9)裁掉近重复项,使浮现出来的集合不至于是同一条主张的九种改写。
合成(第 2 阶段)用的是乘法放大器,而不是加法混合:
composite = relevance × (1 + UTIL_BETA × utility_score)
× (1 + IMP_BETA × normalized_importance)
在当前的生产环境中取 UTIL_BETA = 0.10、IMP_BETA = 0.005。设计理由(Lei,2026-05-19)就是那个吃重的论点:相关性是基础的主题信号;效用与重要性是正交维度上的放大器,不是地位等同的加数。 一个加法混合 (1−λ)·relevance + λ·utility(已退役的形式,UTILITY_LAMBDA = 0.3)需要小心的 λ 调参,以免效用把相关性淹没;乘法放大器保全相关性的主导地位,并让每个放大器从 0 缩放到一个有界增益(一个效用拉满的节点,Q=1,得到 1.10× 的提升)。重要性放大器是稳态的(homeostatic)——normalized_importance 锚定在当前的可查询最小重要性上,所以这个公式随图谱增长而自适应,而不是使用一个固定标度。
C.4 重要性、遗忘与测试效应
还有两个信号与排序相互作用。重要性把关层级资格——按遗忘机制(第 4 章 §4.5),它是一个预过滤器,决定什么才够格进入可查询集(第 2 层)而不是淡出集(第 3 层)——随后作为第二个放大器进入合成式。而主动回忆本身强化一个节点(回忆计数/回忆轮次这两个信号),所以一个持续证明自己有用的节点,既被保留得更久,也被排得更高:这就是测试效应的形态,其中检索不是一次只读事件,而是如测试效应所示,增强日后的保持(Roediger & Karpicke, 2006, p. 249)。结果是在三条耦合轴上自适应的检索——主题相关性、学得的有用性,以及衰减中的重要性——而不是一次静态的相似度排序。
C.5 范围
两条限定,两者都与本文的姿态一致:
- 这些常数是经承载框架(harness)校准的,不是从第一性原理推出的。 UTIL_BETA、IMP_BETA 与 MMR_LAMBDA 是在一个本地回忆测量承载框架上、经一次 NDCG 普查调出的,那次普查把它们定为 0.10、0.005 和 0.9,并比未调参的取值多得了 ≈0.05 NDCG。它们被测量为排序良好,这比置信度模型的常数(第 7 章 §7.2——那些常数没有经过结果校准)立足更稳——一处有用的内部对照。
- 奖励信号是一个互动代理指标,而不是真正的结果: 效用是从 C.2 所列的那些互动行为(引用是其中之一)中学得的,而这些行为没有一项核实被检索的那个节点是对的。一个更完整、基于结果的奖励(下游主张是否挺过了矛盾?)是一个未来方向,与置信度自动校准这条线索(第 7 章 §7.2)相连续。
→ 第 4 章 §4.7 提出主张;本附录是细节。