7B模型超越Gemini？MemHarness记忆重构框架如何破解Agent负迁移难题

在人工智能迈向通用智能的征途中，智能体（Agent）的记忆能力被视为连接过去经验与当前决策的桥梁。然而，现有的记忆增强型Agent大多采用一种较为粗糙的处理方式：将检索到的历史经验直接拼接到当前的上下文中。这种做法虽然简单直观，却隐藏着一个巨大的陷阱——当历史情境与当前状态存在细微但关键的差异时，直接复用旧经验不仅无益，反而会导致“负迁移”，即错误的指导使得Agent做出更糟糕的决策。针对这一痛点，上海人工智能实验室联合浙江大学、复旦大学及上海交通大学的研究团队，共同推出了一种名为MemHarness的智能体记忆重构框架。这一框架的核心突破在于，它模拟了人类认知中的记忆重构机制，在检索与行动之间插入了一个显式的“批判与重构”环节，从而彻底改变了Agent利用历史知识的方式。

传统Agent的记忆范式类似于一个简单的图书馆管理员，用户需要什么书，它就原封不动地递过来，至于这本书是否适合用户当下的阅读水平或需求，它并不关心。而MemHarness则更像是一位经验丰富的导师，它在提供建议之前，会先审视当前的具体情况，对比历史案例，然后对知识进行加工、提炼，甚至果断舍弃不适用的部分。这种从“静态回放”到“动态重构”的转变，是MemHarness最本质的创新。通过引入GRPO（Group Relative Policy Optimization）进行端到端的训练，该框架无需依赖昂贵且难以获取的人工标注数据，就能让模型学会如何有效地利用记忆。这种自我进化的能力，使得MemHarness在处理复杂、多变的环境任务时，展现出了惊人的适应性和鲁棒性。

深入剖析MemHarness的技术架构，我们可以发现其决策流程被精细地划分为五个连续阶段：环境观测、经验检索、记忆批判、上下文记忆重构以及动作生成。这一流程高度模拟了人类在面对新问题时的认知过程。首先，Agent根据当前的环境观测生成查询向量，从基于Milvus构建的向量记忆库中召回最相关的Top-K条历史经验及其来源状态。这一步骤确保了信息的关联性，但仅仅是开始。接下来是最为核心的“批判与重构”阶段。统一的策略模型会将任务描述、当前历史轨迹、检索到的经验以及这些经验的来源状态拼接在一起，形成一个丰富的重构上下文。

在这个上下文中，模型扮演着双重角色：既是裁判，又是编辑。作为裁判，它对比历史来源状态与当前状态的差异，评估该经验的适用性；作为编辑，它将适用的经验改写为与当前状态对齐的指导信息，或者如果判定经验完全不适用，则输出特定的标记拒绝该记忆，并回退到自主推理模式。这种机制有效地避免了盲目信任历史数据带来的风险。值得注意的是，检索查询生成、记忆批判重构与可执行动作生成这三个关键阶段，共享同一个策略模型的参数。这意味着，记忆利用与决策推理在模型内部实现了紧密耦合，无需为重构模块单独训练价值网络或准备监督数据，极大地简化了系统架构并提高了训练效率。

在训练方法上，MemHarness采用了先进的GRPO算法进行端到端优化。由于重构后的指导信息并没有标准的“真值”标注，传统的监督学习难以直接应用。GRPO通过组归一化优势，将轨迹级的奖励信号分配给所有的Token，从而同时优化模型的思考、重构和动作生成能力。奖励函数由稀疏的任务结果奖励和格式奖励组成，确保模型不仅在最终任务上成功，而且在中间的重构过程中也保持逻辑的连贯性和格式的规范性。这种训练方式使得重构能力作为一种 emergent ability（涌现能力）自然产生，无需额外的人工干预。

MemHarness的性能表现令人瞩目，尤其是在“小模型超越大模型”这一维度上。实验数据显示，仅拥有70亿参数（7B）的MemHarness模型，在ALFWorld家庭家务任务和WebShop在线购物任务中，分别超越了谷歌最新的Gemini-2.5-Pro模型23.1%和39.7%。这一结果有力地证明了，算法架构的创新比单纯堆砌参数规模更能带来实质性的性能提升。此外，在分布外（OOD）场景中，MemHarness的平均成功率达到了85.9%，显著高于原始记忆回放模式的76.3%。这表明，经过重构训练的Agent具备更强的泛化能力，能够很好地应对未曾见过的环境变化。

更有趣的是，研究发现即使在实际测试时关闭记忆模块，经过MemHarness重构训练的基础策略成功率也从76.4%提升到了83.0%。这说明，重构训练目标不仅仅是在教模型如何使用外部记忆，更是在根本上增强了模型的内在推理能力。模型在学习如何批判和重构记忆的过程中，潜移默化地提升了其对任务结构的理解和逻辑推理水平。这种“隐式推理增强”效应，为未来轻量级智能体的开发提供了新的思路。

在实际应用层面，MemHarness展现出广泛的适用前景。在具身智能领域，如ALFWorld模拟的家庭环境中，Agent可以利用重构机制，将过往在不同房间布局下的取物、清洁经验，灵活适配到新的家居环境中，完成复杂的家务指令。在电商场景中，面对WebShop海量的商品和多样的用户需求，Agent可以检索历史购物记录，重构出针对当前特定商品的搜索与筛选策略，从而提高购物的准确性和效率。此外，在智能客服、代码辅助开发以及科研实验规划等领域，MemHarness同样具有巨大的潜力。例如，客服Agent可以避免直接套用旧的回复模板，而是根据当前用户的具体情绪和问题细节，重构出更具同理心和针对性的解决方案；编程Agent则可以借鉴过去的Bug修复经验，结合当前代码的上下文，提供精准的修复建议，而非生搬硬套。

与同类竞品如EvolveR相比，MemHarness的优势在于其显式的记忆库结合状态条件重构机制。EvolveR主要依赖经验的逐步演化迭代，而MemHarness则在检索后立即进行批判性重构，支持保留、改写或丢弃三种操作，这使得其决策过程更加透明和可解释。同时，MemHarness无需像EvolveR那样依赖大量的RL训练步数来积累记忆经验，而是通过GRPO端到端训练快速收敛。在可解释性方面，MemHarness的重构过程是可以检查的，支持EMPTY拒绝机制，而传统的记忆注入过程往往是一个黑盒，难以追溯错误来源。

对于希望尝试MemHarness的开发者和研究人员来说，部署过程相对标准化。首先需要克隆GitHub仓库并创建Python 3.12的Conda环境，安装vLLM、Flash Attention 2等依赖库。接着，需要部署BGE-M3嵌入模型以提供向量编码服务，并安装ALFWorld或WebShop等目标交互环境。可选的冷启动SFT步骤可以帮助模型更好地对齐交互格式，随后即可运行GRPO端到端训练脚本。整个流程自动化程度较高，框架会自动启动记忆向量数据库，执行Agent的检索、经验回写与剪枝操作。

综上所述，MemHarness不仅是一个技术框架，更是一种关于智能体如何有效利用知识的新范式。它通过引入批判性思维和动态重构机制，解决了长期困扰Agent领域的负迁移难题，证明了在算法设计上的精妙构思可以弥补模型规模的不足。随着人工智能应用逐渐深入到更复杂、更动态的真实世界中，像MemHarness这样具备强鲁棒性和高可解释性的记忆增强框架，将成为构建下一代可靠智能体的重要基石。它提醒我们，智能的本质不仅仅是知识的存储，更是对知识的灵活驾驭与创造性重组。