港科大新框架：让AI像人一样“接力”看图搜索

0 阅读

一张雪山照片引发的技术难题

如果你问AI：“这张雪山照片是在哪里拍的？”

现在的多模态模型可能会裁出照片里的一段山脊，拿去以图搜图，找到“折多山”这个地名。接着它查阅网页，又搜到另一张更清晰的照片。最后，它需要放大那张新照片核对细节，才能把地点锁定在折多山垭口。

这听起来顺理成章，但在现有的多模态搜索系统里，这一步往往卡壳。模型能看见刚搜回的照片，但当它想调用“放大”工具时，却发现没法把这张图直接交给下一个工具。很多系统里，工具之间是断层的，图片一旦离开当前上下文，就像断了线的风筝，再也找不回来。

图片

香港科技大学 MMSense Lab 的团队注意到了这个问题。他们设计了一套名为“视觉原生智能体框架”（Visual-Native Agent Harness）的系统，核心思路很简单：给每张图分配一个独立编号，让不同工具都能通过编号随时取用同一张图。

图片

但这只是第一步。工具接通了，模型还得学会什么时候该继续搜，什么时候该回头看图。为此，团队提出了一种叫 On-policy Data Evolution（ODE）的数据合成方法。简单说，就是让出题规则跟着模型的解题表现一起进化。这项工作已被 NeurIPS 2026 接收。

图片

给图片发“身份证”，让工具接力

图片

在这个框架下，智能体支持九种工具，包括检索网页、论文和图片，打开来源页，放大或旋转图片，甚至用 Python 计算。关键在于，所有图片——无论是题目自带的原图，还是工具返回的新图——都存入同一个“图像库”（image bank）。

图片

每张图都有独立的编号。在解题过程中，后续工具可以随时按编号取图。

图片

回到折多山的例子：

  1. 原始照片标记为 <image:0>。
  2. 智能体裁出的山脊标记为 <image:1>。
  3. 智能体把 <image:1> 交给以图搜图工具，找回的清晰照片另存为 <image:3>。
  4. 即使中间插入了查网页的操作，当需要放大新照片时，模型仍然能准确地把 <image:3> 传给放大工具。

图片

这种“图像复用”能力在复杂任务中至关重要。在 MM-BrowseComp（MMBC）这项评测中，约四成题目用到了先前搜回或裁出的图片。团队做过对照实验：如果关闭图片复用功能，ODE-8B-RL 模型在 MMBC 上的准确率只有 7.59%；如果允许模型取回最近 4 张、8 张或 16 张图片，准确率逐步上升；当保留全部图片时，准确率达到了 12.50%。

图片

这说明，对于需要来回核查证据的题目，最新的几张图并不能完全替代较早找到的图片。模型需要像人一样，把旧线索和新发现串联起来。

图片

ODE：让出题规则随模型进化

图片

工具打通后，更大的挑战在于训练数据。传统的强化学习数据往往是静态的，但不同水平的模型需要的训练题难度不同。太简单的题学不到东西，太难的题又会让模型陷入混乱。

图片

ODE 的核心思想是“递归自我改进”。它不仅训练智能体，还改进取决于智能体表现的出题方法。

图片

具体流程如下：

  1. 出题：系统先找一个能从至少两个独立来源核实的对象，选一张包含细节（如图例、数字）的图片。系统沿网页搜集线索，组织成一张“证据图”。出题器从中选取一组相连线索，编成有明确答案的问题，并删去泄露答案的提示。
  2. Rollout（推演）：模型拿到题目和原图，自己决定查哪些网页、调用哪些工具，直到给出答案。这个过程称为一次 rollout。
  3. 诊断与调整：分析器对照整批解题记录和出题时的证据，诊断哪些环节需要改进。通过审核的改动随即写入下一轮的出题规则。

图片

举个例子，在一轮演化中，ODE 从联合国地图资料入手，出了一道题：“1948年9月世界地图上标出的托管领土，占最初总数的百分之几？”题目隐去了总数，模型既要查出分母（11个），也要读懂图例数出分子。

目标模型在解题时漏数了几处托管领土，还把西南非洲算了进去，导致答案错误。分析器回溯 rollout 过程，发现部分小字地名和图例缺少逐项核实的证据。于是，ODE 调整了出题规则：涉及数量的线索要逐项用以图搜图核实，整理证据时可做的视觉操作从最多四步增至五步。同时，带图线索的目标占比从 50% 降到 40%，给逐条核查留出余地。

新规则在下一轮巴尔的摩港航道图的题目中生效。但这一批 rollout 暴露了新问题：可供比对的图片线索不足，题目对当前模型太难。ODE 随后又把带图线索的比例从 40% 调回 50%。

这种动态调整最多进行五轮。演化结束后，团队选出表现最好的一套规则，批量合成正式训练所需的数据。

数据质量决定模型上限

ODE 带来的提升不仅体现在最终成绩上，更体现在训练数据的质量上。

团队对比了两组数据：一组沿用初始出题规则，另一组使用 ODE 动态调整规则。两组都准备了等量的监督微调（SFT）示范和强化学习（RL）训练题。

在 SFT 示范中，ODE 组有 42.9% 的样本包含至少四张工具返回的图片，而固定规则组只有 10.5%。同时包含图像操作和搜索的示范也从 35.3% 增至 54.8%。这意味着，学生模型能看到更多把搜索和看图结合起来的解题过程。

在强化学习阶段，变化更明显。教师模型在 ODE 规则下，平均每题调用工具的次数从 15.94 降至 12.19，但工具返回的图片从 1.25 张增至 3.75 张，把图片再交给工具的次数也从 1.06 增至 2.12。也就是说，教师用更少的步骤示范了更多借助图片查证的操作。

而对于 8B 目标模型，规则调整后，它平均每题调用工具的次数从 6.14 升至 15.33，返回的图片从 3.07 张增至 11.00 张。这说明，新规则迫使模型进行更深入的搜索和验证，而不是浅尝辄止。

评测成绩：从 24.9% 到 39.0%

在八项评测中，ODE 训练后的模型表现显著提升。

以 Qwen3-VL-30B 为例：

  • 使用标准搜索流程时，八项平均准确率为 24.8%。
  • 换用视觉原生智能体框架后，达到 30.6%。
  • 保持框架不变，用 ODE 数据做监督微调，准确率升到 39.5%。
  • 继续做强化学习，最终达到 41.5%。

8B 模型也呈现出同样的趋势。在要求主动检索外部证据的 MMSearch 上，基座模型、监督微调和强化学习之后的准确率依次为 47.3%、61.7% 和 66.0%。

这套框架对商业模型同样有效。Gemini 2.5 Flash 的八项平均准确率从 32.0% 升至 35.55%，Gemini 2.5 Pro 从 37.9% 升至 42.21%。GPT-5 在两种设置都报告了成绩的七项评测上也全部提高。

值得注意的是，当商业模型也能反复调用搜索中找到的图片时，训练后的 30B 模型依然有竞争力。在相同框架下，ODE-30B-A3B-RL 的八项平均准确率为 41.53%，与 Gemini 2.5 Pro 的 42.21% 仅差 0.68 个百分点。

结语

多模态搜索的瓶颈，往往不在于模型看不见图，而在于它无法像人一样，把看到的线索存下来，并在后续的搜索中反复引用。港科大的这项工作，通过给图片编号实现工具间的无缝接力，再通过 ODE 让训练数据随模型能力进化，为解决这一问题提供了切实可行的路径。

从一个答错的百分比，回溯到模型漏数的阴影和认错的标记，ODE 的价值在于它让训练过程变得透明且可调整。这不仅提升了模型的成绩，更让我们看到，智能体的成长可以通过精细化的数据演化来实现。

相关资源：