MemHarness：AI Agent记忆重构新范式，7B模型超越Gemini的秘诀

引言：记忆增强Agent的困境与破局

近年来，大语言模型（LLM）驱动的智能体（Agent）在复杂任务中展现出惊人潜力，但如何高效利用历史经验仍是核心挑战。传统记忆增强方法简单地将检索到的经验直接注入上下文，却忽略了新旧状态间的差异，导致负迁移——旧经验不仅无益，反而干扰当前决策。上海AI实验室联合浙大、复旦、上海交大等机构提出的MemHarness框架，从人类记忆重构机制中汲取灵感，在检索与动作之间插入显式的批判与重构环节，让Agent学会“取其精华，去其糟粕”。这一创新不仅解决了负迁移问题，更让7B参数的小模型在多个基准上超越Gemini-2.5-Pro，为智能体记忆研究开辟了新路径。

MemHarness的核心机制：从静态回放到动态重构

五阶段决策流程：模拟人类认知

MemHarness将记忆引导的决策分解为五个连续阶段：环境观测、经验检索、记忆批判、上下文记忆重构与动作生成。这一流程模拟了人类“检索—评估—重构”的认知过程，取代了传统Agent直接回放记忆的静态范式。具体而言，Agent首先感知当前环境状态，生成查询从向量记忆库中召回相关经验；随后，策略模型对比经验来源状态与当前状态，批判其适用性；接着，将经验改写为状态对齐的指导信息，或判定为不适用而舍弃；最后，基于重构后的指导生成动作。这种显式的批判与重构环节，确保了记忆利用的精准性和上下文敏感性。

上下文记忆重构：保留、改写与丢弃

MemHarness的核心创新在于上下文记忆重构机制。策略模型将任务描述、当前历史、检索到的经验及其来源状态拼接为重构上下文，通过对比历史来源状态与当前状态识别差异。对于可迁移的知识，模型保留并融入当前决策；对于不匹配的内容，模型进行改写以对齐当前状态；对于完全不适用的记忆，模型输出<EMPTY>标记拒绝该记忆，并回退到自主推理。这种灵活的决策机制，使得Agent能够动态调整记忆利用策略，避免负迁移。

统一策略模型架构：共享参数，紧密耦合

MemHarness采用统一策略模型架构，检索查询生成、记忆批判重构与可执行动作生成三个阶段共享同一个策略模型参数。这种设计无需为重构模块单独训练价值网络或监督数据，使记忆利用与决策推理在同一模型内紧密耦合。通过端到端训练，模型能够协同优化检索、重构与动作生成，实现整体性能的提升。

GRPO端到端训练：无需额外标注

由于重构指导信息没有真值标注，MemHarness采用GRPO（Group Relative Policy Optimization）对检索—重构—行动全链路进行端到端优化。奖励由稀疏任务结果与格式奖励组成，通过组归一化优势将轨迹级信用分配给所有token，同时训练思考、重构与动作生成能力。这种训练方式不仅避免了人工标注的昂贵成本，还使得重构能力在训练过程中自然涌现，无需显式监督。

MemHarness的核心优势：数据与实验佐证

重构优于回放：避免负迁移

MemHarness通过显式插入批判与重构环节，将静态记忆片段转化为上下文敏感的状态对齐指导，有效避免了负迁移。实验表明，在ALFWorld和WebShop任务上，MemHarness的7B模型分别超越Gemini-2.5-Pro 23.1%和39.7%，充分证明了重构机制的有效性。

小模型超越大模型：效率与性能兼得

MemHarness的7B参数规模在多个基准上超越更大规模的模型，展示了高效利用记忆和推理的能力。这不仅降低了计算资源需求，也为实际部署提供了便利。

OOD鲁棒性强：应对分布外场景

在分布外（OOD）场景中，MemHarness的平均成功率达85.9%，显著高于原始记忆回放的76.3%。这表明重构机制能够适应环境变化，提升Agent的泛化能力。

隐式推理增强：从根本提升能力

即使测试时关闭记忆，重构训练目标仍使基础策略成功率从76.4%提升至83.0%。这说明重构训练不仅优化了记忆利用，还从根本上增强了Agent的内在推理能力，使其在无记忆情况下也能表现更佳。

无需额外标注：降低应用门槛

MemHarness的重构能力通过GRPO端到端训练自然涌现，不依赖人工编写的重构监督数据。这大大降低了应用门槛，使得框架易于推广到新任务和领域。

如何使用MemHarness：从部署到训练

环境准备与安装

首先，克隆仓库并创建Python 3.12的Conda环境，安装vLLM、Flash Attention 2及MemHarness本体。具体命令如下：

复制git clone https://github.com/KnowledgeXLab/MemHarness.git
conda create -n memharness python=3.12
conda activate memharness
pip install vllm flash-attn
pip install -e .

部署嵌入服务

MemHarness依赖向量记忆库进行经验检索，需要部署嵌入模型。通过vLLM启动BGE-M3嵌入服务：

复制vllm serve BAAI/bge-m3 --port 8001

该服务为Milvus记忆库提供向量编码，支持高效的相似度检索。

安装目标环境

根据任务需求，安装ALFWorld或WebShop交互环境，并下载对应的游戏文件与预训练检测器。例如，对于ALFWorld，需要安装其Python包并下载游戏资源。

冷启动SFT（可选）

为了加速训练，可以运行冷启动数据构建脚本，生成初始训练数据，然后执行SFT脚本使模型对齐交互格式与记忆摘要格式。

复制python scripts/build_alfworld_coldstart_data.py
bash scripts/cold_start_sft.sh

GRPO端到端训练

运行训练脚本，框架将自动启动记忆向量数据库、执行Agent检索、经验回写与剪枝，完成GRPO训练。

复制bash run_scripts/train_alfworld.sh
# 或
bash run_scripts/train_webshop.sh

训练过程中，模型会不断优化检索、重构与动作生成策略，最终获得高性能的Agent。

同类竞品对比：MemHarness vs. EvolveR

维度	MemHarness	EvolveR
记忆范式	显式记忆库 + 状态条件重构	显式记忆库 + 经验演化
核心机制	检索后批判重构，保留/改写/丢弃	检索后直接注入，依赖经验演化迭代
训练方式	GRPO端到端，无需重构标注	RL训练，记忆经验需逐步演化积累
OOD表现	85.9%（ALFWorld OOD）	未重点报告OOD鲁棒性
可解释性	重构过程可检查，支持EMPTY拒绝	记忆注入过程相对黑盒
模型规模	7B即超越Gemini-2.5-Pro	通常需更大规模或更多训练步数

从对比中可以看出，MemHarness在记忆利用的精准性、训练效率和泛化能力上具有明显优势，尤其适合对鲁棒性和可解释性要求较高的场景。

应用场景：从家务到科研的广泛潜力

具身智能家务

在ALFWorld等家庭环境中，Agent可重构过往取物、清洁经验，适配不同房间布局完成复杂家务任务。例如，当房间布局变化时，Agent能够调整行动策略，而非盲目套用旧经验。

自主在线购物

在WebShop等电商平台中，Agent根据历史购物经验重构为当前商品搜索与筛选策略，提升目标导向购物成功率。例如，根据用户偏好变化，动态调整搜索关键词和筛选条件。

智能客服对话

客服Agent检索历史相似工单后重构解决方案，避免直接套用旧答复导致答非所问。通过批判与重构，Agent能够结合当前用户问题，生成个性化回复。

代码辅助开发

编程Agent重构过往bug修复经验，适配当前代码上下文，提供精准的修复建议而非照搬旧方案。这有助于提高代码修复的准确性和效率。

科研实验规划

实验Agent根据历史实验参数与结果重构为当前实验条件的最优配置建议，减少试错成本。例如，在材料科学中，Agent能够基于历史实验数据，推荐新的实验参数组合。

未来展望：记忆重构的无限可能

MemHarness的成功证明了记忆重构在智能体中的巨大潜力。未来，这一框架有望扩展到更多领域，如自动驾驶、医疗诊断、金融决策等。同时，随着多模态模型的融合，记忆重构将不仅限于文本，还能处理图像、语音等丰富信息。此外，MemHarness的开源发布，为研究社区提供了强大的基线，有望推动更多创新工作。

总之，MemHarness不仅是一个工具，更是一种全新的智能体记忆范式。它让我们看到，通过模拟人类认知，AI能够更智能地利用经验，做出更精准的决策。对于开发者和研究者而言，掌握MemHarness，意味着站在了智能体技术的前沿。