GitHub 推出 AI 代码审查基准 ReviewBench：219 个公开 PR，结果仍待外部复核

GitHub 10 月 5 日公布用于 AI 代码审查工具的 ReviewBench。其说明称，团队先分析约 1.039 亿个 GitHub Pull Request 的分布，再从 187 个公开、采用开源许可的仓库选取 219 个 PR 构成评测集，覆盖 19 种编程语言。样本规模和代表性是 GitHub 报告的方法结果，并非本站重新抽样得出的结论。

代码审查不能只按工具写了多少评论评分。GitHub 描述的“金标准”问题集合综合了人工审查、后续修复、静态分析与多个模型提出的候选，再按统一规则去重和判断。评测既看已知问题的准确率、召回率，也对基准答案之外的新发现进行额外判断，并允许按安全性、正确性、严重程度等维度拆分结果。

GitHub 称，未参与初始标注的资深工程师重新判断基准问题时，与其标签有 96.6% 的一致率；公司还称，ReviewBench 的离线结果在近期 Copilot 代码审查实验中与线上指标变化方向相符。这些都是项目方公布的内部验证证据，不能直接推出任何 AI 审查工具比人工审查更可靠，也不能保证该基准能预测其他团队的生产环境。

对准备选用自动代码审查工具的团队，更实际的问题是：测试集是否接近自己的语言、仓库规模和变更形态，误报成本能否接受，以及严重缺陷的漏检如何补救。公开项目仓库列有完整任务清单、问题标签和本地测试脚本，软件与文档标注 MIT 许可；使用者仍需核对源仓库各自的许可。本站未运行完整基准，也未验证第三方复现。ReviewBench 可作为比较工具的起点，不应替代真实项目里的人工审查与线上验证。