破解LLM评测污染：腾讯WorkBuddy Bench四大场景实证解析
编码智能体评测的困境与破局
在大语言模型（LLM）迅速渗透软件开发生态的今天，如何客观、准确地衡量编码智能体（Coding Agent）的能力，已成为行业面临的核心挑战。传统的评测基准往往依赖公开的GitHub Issue或简单的代码片段，这导致模型在训练阶段极易通过搜索引擎或数据集泄露接触到测试题目，从而产生严重的“数据污染”问题。这种污染不仅扭曲了模型的真实性能评估，也阻碍了技术迭代的真实反馈。
针对这一痛点，腾讯开源了WorkBuddy Bench。这不仅仅是一个简单的测试集，而是一套覆盖代码、网页、办公、安全四大真实工作场景的端到端评测体系。它摒弃了传统的人工构造题目方式，转而采用从真实代码提交、Pull Request (PR) 及业务场景中逆向工程构建任务的方法。通过将复杂的工程问题转化为口语化的角色扮演请求，并刻意保留信息的不充分性，WorkBuddy Bench迫使智能体必须具备上下文恢复、需求消歧及自主决策的能力。这种设计思路从根本上切断了模型通过死记硬背训练数据来获取高分的路径，为评估智能体的真实工程落地能力提供了新的视角。
逆向工程构建：从真实世界抽取高保真任务
WorkBuddy Bench的核心竞争力在于其任务构建机制的独特性。不同于SWE-bench等依赖公开Issue描述的评测基准，WorkBuddy Bench的任务源直接来自于腾讯内部的真实开发流程。每一个任务都经过逆向工程处理，旨在模拟开发者在日常工作中遇到的实际痛点。
这种构建方式带来了几个关键特征。首先是任务的真实分布性。260个任务覆盖了bug修复、功能开发、接口调整、算法实现等18个代码类别，以及页面实现、交互设计、数据可视化等7个网页类别。这些任务并非随机生成，而是严格匹配内部真实的用户使用分类法，确保了评测场景与实际业务的高度一致。
其次是请求风格的口语化与角色扮演化。在构建任务时，原始的技术文档被改写为简短的、带有特定角色背景（如开发者、产品经理、QA、运维等）的自然语言请求。例如，一个原本晦涩的技术规范被转化为“请帮我优化这个API的响应速度，注意不要破坏现有接口的兼容性”这样通俗易懂的指令。这种转换使得提示词无法通过简单的关键词搜索在训练数据中还原，极大地增强了抗污染能力。
此外，刻意信息不充分是该体系的另一大创新。在任务指令中，仅陈述意图与核心约束，省略目标文件路径、精确接口定义及边界处理细节。智能体必须自行探索工作区，理解代码结构，推断缺失上下文，并制定执行计划。这一过程精准地测试了智能体在模糊需求下的落地能力，而非仅仅是对已知模式的机械响应。
四大场景全覆盖：超越纯代码的生态评估
WorkBuddy Bench打破了编码智能体仅局限于“写代码”的狭隘定义，构建了一个涵盖前端、后端、办公自动化及安全领域的多维评估矩阵。这种全方位的设计反映了对现代AI助手能力的更高期待。
在代码（Code）领域，80个仓库级软件工程任务由五种不同角色的开发者发起。这不仅考察智能体生成正确代码的能力，更考察其在不同利益相关者视角下理解需求的能力。例如，来自产品经理的请求可能更关注功能完整性，而来自QA的请求则可能更侧重于边界条件的覆盖。
网页（Web）领域引入了70个前端任务，要求智能体交付可运行的前端制品，而非仅仅是对话文本。这涵盖了从页面布局实现到数据可视化交互的全流程。评测不仅关注代码的正确性，还通过规则检查、LLM评判及VLM（视觉语言模型）评判，评估前端界面的视觉效果、交互流畅度及文档转换的准确性。
办公（Office）领域则聚焦于50个多文件业务流程任务。智能体需要处理电子表格、文档、PDF、JSON等混合格式文件，完成数据核对、报告生成及状态更新。这一场景极大地扩展了AI的能力边界，使其从单纯的代码生成者转变为能够处理复杂文档流和业务逻辑的办公助手。
安全（Security）领域包含60个红蓝队任务，包括漏洞发现、恶意软件分析及安全运营。与其他子集不同，安全子集采用确定性评分脚本，完全不依赖LLM评判器。这种设计确保了安全评估的客观性与安全性，避免了因LLM自身漏洞导致的评分偏差，为AI智能体的安全能力提供了量化的攻防测试环境。
技术架构与评测机制：隔离、交叉与抗污染
为了确保评测结果的公正性与可复现性，WorkBuddy Bench在技术架构上设计了多重保障机制。最核心的是回合后评估隔离机制。在智能体解题期间，其只能看到任务指令与工作区内容，评分资产（如隐藏测试用例、评分细则等）在任务完成后才被引入沙箱。这种严格的隔离有效防止了评分信息泄露，避免了智能体通过“作弊”方式优化结果。
双框架交叉验证是该体系的另一大亮点。所有任务均在CodeBuddy Code与Claude Code两种主流智能体框架下分别运行。通过对比不同框架下的表现，评测体系能够消除单一框架带来的系统性偏差，提供更全面的能力画像。
抗污染机制则依赖于任务构建方式与数据集版本管理的组合。通过封闭可搜索的提示路径，并定期刷新数据集版本，WorkBuddy Bench替代了传统依赖保密性的防污染方案。即使有部分数据泄露，由于任务请求的口语化重构与信息缺失，模型也难以直接匹配到标准答案。
在评分体系上，WorkBuddy Bench采用了多元化的评估工具。代码子集通过隐藏单元测试评分，网页子集采用规则+语义+交互三重评判，办公子集使用规则+证据驱动LLM评判，安全子集则依靠确定性脚本。这种独立设计的多维评分体系，确保了每个子集都能在其特定的领域内实现最精准的评估。
效能解耦与行业标准：重新定义智能体能力
WorkBuddy Bench的排行榜不仅展示模型的性能得分，还同时报告token消耗与轮次效率。这一设计理念揭示了“高分不等于高消耗”的重要结论。例如，GPT-5.5以最小的输出预算取得了顶级分数，证明了在效率与能力之间寻求平衡的重要性。对于企业而言，这意味着在选择AI模型时，不仅要看其功能强弱，还要评估其资源占用与响应速度，以实现成本与效能的最优配置。
相较于SWE-bench等封闭或单一领域的基准，WorkBuddy Bench的完全开源属性使其具备了更高的行业公信力。任务目录、环境镜像、评估代码、评分测试及参考答案全部公开，允许任何第三方离线重新运行单个任务并进行直接审计。这种端到端的可复现性与可审计性，为学术研究和产品迭代提供了坚实的数据基础。
在应用场景方面，WorkBuddy Bench已成为智能体研发、模型选型及安全评估的重要标尺。它帮助研发团队定位智能体在代码导航、前端状态管理、跨文件一致性等具体环节的短板，推动产品迭代优化。同时，其标准化的测试环境也为学术界提供了对比不同算法与架构的平台，促进了领域基准的持续迭代与进步。
总之，WorkBuddy Bench通过真实场景还原、多维度评分及严格的抗污染设计，为编码智能体评测树立了新的行业标准。它不仅是一个技术工具，更是推动AI工程化落地的重要基础设施，助力行业从“能写代码”向“能解决复杂工程问题”迈进。