OpenRouter新版自动路由实测:性能倒退,不如固定调用单一模型
OpenRouter新版Auto Router:一次令人失望的升级
如果你最近在使用OpenRouter的openrouter/auto接口,可能会发现返回的结果有些不对劲。这不是你的错觉。根据最新的AutoBench路由器基准测试数据,OpenRouter在11月6日推出的新一代Auto Router,在核心指标上出现了显著倒退。
在此之前,也就是今年8月底到10月期间,旧版Auto Router在cost_tier=high(高成本层级)设置下,能够取得79.1%的Delta-Hit准确率,每次提问的成本约为0.023美元。这在当时的商业LLM路由器中算是不错的表现,至少它真的在做“路由”这件事——根据不同的问题难度,动态选择最合适的模型。
然而,新版Auto Router在同一套测试冻结集上的得分仅为65.2%。更糟糕的是,其默认(default)、低(low)和中(medium)层级的得分分别只有58.1%、60.3%和57.9%。这意味着,在这些常用设置下,新版路由器的表现几乎等同于随机盲选,甚至还不如随机选一个模型来得稳定。
我们对比了新旧版本的选择逻辑,发现两者在路由决策上的重合度极低,仅有1%到12%的请求会被分配到相同的模型。这说明新版底层算法发生了根本性变化,但这种变化并没有带来性能提升,反而丢失了旧版中一些明智的选择策略。例如,在当前测试面板中性价比极高的GPT-5.6 Luna模型,在新版High层级中竟然完全未被纳入候选列表。
新加入的竞品:Conifer与dari的表现如何?
除了OpenRouter的自我迭代,市场上也出现了新的路由器玩家。这次测试中,我们引入了Conifer和dari两个新选手,看看它们是否能在“智能路由”这个赛道上跑出成绩。
Conifer:确实在路由,但性价比不高
Conifer是目前测试中唯一表现出明显“路由”行为的新厂商。它在17个模型的池子中,取得了74.8%的准确率。如果减去随机选择的基线(即在17个模型中随机挑一个的预期得分),Conifer带来了+14.6分的提升。这证明它确实根据问题特征做了区分,而不是无脑转发。
但是,仔细看它的路由分布,大约四分之三的请求都被分配给了Luna模型。这种高度集中的分布虽然避免了崩溃(即90%以上流量指向单一模型),但也暴露了它的局限性:它过度依赖Luna,却没能挖掘出其他模型在特定场景下的优势。
从成本角度看,Conifer的平均单次提问成本为0.0052美元,而如果我们直接固定调用Luna模型,成本仅为0.0043美元,且准确率能达到85.3%。换句话说,使用Conifer不仅多花了钱,得到的回答质量还更低。对于追求极致性价比的用户来说,目前直接调用Luna依然是更优解。
dari:高分背后的“小池子”陷阱
dari的数据看起来很有迷惑性。它在测试中取得了79.1%的准确率,这与旧版OpenRouter Auto Router的高分持平。但如果深入分析,会发现这个分数含金量有限。
dari的路由池非常小,仅包含8个模型。在一个只有8个选项的池子里,随机选择的基准得分就已经高达73.9%。因此,dari带来的实际增益(Lift)只有+5.2分。相比之下,旧版OpenRouter在20个模型的更大池子里,还能做到+17.1分的增益。
此外,dari的成本约为Luna的5倍(0.022美元 vs 0.0043美元)。用5倍的价格换取比随机选择略好一点的准确率,这笔账算下来并不划算。而且,我们测试的是其“仅选择”路径,在实际聊天场景中,其与最终输出模型的一致性也只有18%,这意味着路由决策与实际执行之间存在较大的脱节。
为什么“始终调用Luna”依然是标杆?
在这次测试的所有商业路由器中,有一个简单的策略始终难以被击败:无论问什么,都固定调用GPT-5.6 Luna。
在Beta值为0.2的Router Index综合评分中,始终调用Luna的得分为56.1。作为对比,dari得分为39.3,Conifer为30.5,而新版OpenRouter Auto Router(High层级)仅为1.6。这个巨大的分差说明,目前大多数商业路由器在处理长尾、开放式问题时,要么过于保守,要么过于昂贵,无法在质量和成本之间找到比“固定优质模型”更好的平衡点。
Luna之所以成为标杆,是因为它在当前测试集所覆盖的问题类型中,表现出了极高的稳定性和合理的定价。当路由器无法精准识别何时该用更强(更贵)或更弱(更便宜)的模型时,频繁切换带来的错误率上升和延迟增加,往往抵消了理论上的成本节省。
AutoBench Router:真正有效的路由方案
既然市面上的商业路由器表现不尽如人意,我们自己的AutoBench Router表现如何?答案是:它确实做到了“有效路由”。
AutoBench Router目前已在Botscanner上线,提供三个调节旋钮:Quality(质量优先)、Balanced(平衡)和Cost(成本优先)。用户不需要关心具体调用了哪个模型,只需选择想要的侧重点。
测试数据显示:
- Balanced模式:准确率达到87.8%,略高于始终调用GPT-5.6 Sol的87.5%,但成本仅为Sol的8%。
- Quality模式:准确率进一步提升至88.6%。
- Cost模式:在保持86.8%高准确率的同时,将成本控制在极低水平。
在Router Index评分中,AutoBench的三个模式得分分别为60.8、60.3和59.8,全部超过了始终调用Luna的56.1分。这意味着,AutoBench不仅在绝对质量上更高,而且在单位成本产生的价值上也超越了目前的行业标杆。
AutoBench Router之所以能做到这一点,得益于其精简而高效的模型池策略。它主要混合使用DeepSeek V4 Flash、GPT-5.6 Luna和GPT-5.6 Sol三款模型。通过精细化的训练和实时反馈机制,它能够准确判断何时需要Sol的强大推理能力,何时Luna足以应付,以及何时可以用DeepSeek Flash来大幅降低成本。这种“少而精”的策略,避免了在大模型池中盲目搜索带来的噪声和误差。
给开发者的建议
对于正在构建LLM应用的企业和个人开发者来说,这次测试揭示了一个重要事实:不要迷信“自动路由”的黑盒魔法。许多商业路由器为了营销目的,夸大其智能程度,但实际上可能只是在增加延迟和成本。
如果你的应用对成本敏感,建议先测试固定调用高性价比模型(如Luna)的效果。如果必须使用路由服务,务必关注其“相对于随机选择的增益”以及“实际账单成本”,而不仅仅是准确率数字。
目前,AutoBench Router提供了免费的试用额度。新用户注册可获得1美元的免费信用额,这大约相当于270次Cost模式的调用,或者13次始终调用Sol的成本。你可以通过botscanner.ai/router进行在线聊天测试,或者将现有Agent指向https://api.autobench.org/v1接口进行集成。
技术选型没有银弹,但在数据面前,我们可以少交一些学费。希望这份实测报告能帮助你做出更明智的路由决策。