AI论文复现率仅8%：顶会光环下的学术诚信危机

2026-08-10 12:34 0 阅读

当顶会论文成为“黑箱”：一场大规模复现实验的警示

2025年7月，芝加哥大学SAI团队公布了一项针对ICML 2026全部168篇Oral论文的“实验审稿”结果。这项研究并非传统意义上的同行评议，而是通过下载代码、配置环境、运行实验，将结果与论文原文逐项对照。最终，仅有8篇论文的复现比例超过80%，中位数复现得分仅为28%-30%。这一数据无疑给学术界投下了一枚重磅炸弹：我们引以为傲的顶会论文，究竟有多少经得起检验？

复现危机：从“锦上添花”到“雪中送炭”

SAI的审查过程严谨而细致。他们不仅阅读论文的方法、实验设计和结果，还尝试复现所有可验证的主张。然而，结果令人沮丧：在105篇完成复现的论文中，只有34篇复现了超过40%的主张，而超过80%的仅剩8篇。更令人担忧的是，即使排除未运行、提前中止或超出硬件能力的实验，复现得分中位数也仅为42%-50%。

飞书文档 - 图片

复现过程中最常见的问题包括：代码无法运行、文件缺失、说明不完整、依赖损坏，以及代码运行结果与论文不符。甚至有4篇论文依赖已经下线的模型，使得后来的研究者即使愿意投入时间和金钱，也无法重现相同结果。

SAI还列举了两个具体案例：一篇论文宣称只训练基础模型0.77%的参数，但实际发布的检查点却训练了6.31%的参数，约为宣称数字的8倍；另一篇论文展示了由裁判模型评分的可靠性表格，但开源代码中却找不到这个裁判模型，也没有脚本能够算出表格中的数字。这些案例揭示了部分研究者为了追求“惊艳”结果而采取的“捷径”。

劣质论文的“收益”与“代价”

为什么会出现如此严重的复现危机？答案或许在于学术评价体系的扭曲。在当前的学术生态中，发表顶会论文是获得教职、研究经费和职业晋升的关键。然而，论文的审查过程往往依赖于少数审稿人的主观判断，而审稿人通常无法在有限时间内验证所有实验细节。

更关键的是，复现一篇论文的成本极高。SAI基于Google Cloud的公开价格估算，完整重跑一篇ICML Oral论文的成本中位数约为8900美元，而最昂贵的论文接近220万美元。这意味着，即使代码完全公开，独立复现也面临巨大的经济和时间成本。论文越依赖大规模算力，复现就越困难。

于是，一篇存在问题的论文完全可能顺利通过评审、获得引用，再被写进简历，换来录取、教职或大实验室的工作机会。即使偶然有人发现结果对不上，会议也很少重新审查，论文也未必会被撤回。正如评论区所言：“做出糟糕的研究有收益，却几乎没有代价。”

产业界的“傲慢”与学术界的“尴尬”

OpenAI研究员“几乎不读论文”的言论，进一步加剧了这场讨论。作为产业前沿的工程师，他们拥有更充足的算力、更快的实验反馈和大量不公开的内部结果，自然有“不读论文”的底气。然而，这种言论在学术界引发了强烈反弹。

有评论讽刺科技公司“上岸后抽走梯子”：从高校招走研究人员，建立在学术界公开积累的成果之上，用更高的价格抢走人才和GPU，自己却越来越少接受同行评审，最后转过头宣布学术研究“主要是骗局”。虽然稍显刻薄，但确实指出了产业界与学术界之间的微妙关系。

事实上，这些前沿实验室的人可以“不读论文”，但想进入的人仍需先发论文。对于缺少产业经历的学生和年轻研究者来说，顶会论文依然是证明研究能力最直接的凭证。申请博士、寻找教职、进入OpenAI这样的前沿实验室，都要依靠论文获得关注度。产业界在进入大实验室后轻视论文，却仍然用论文数量、会议级别和引用成绩筛选门外的人。