EdgeBench：当 AI 评测从「百米冲刺」进入「马拉松时代」

引言：AI 评测的「马拉松」

过去几年，AI 模型的评测方式一直像「百米冲刺」——给模型一个任务，看它能不能一次性做对。SWE-Bench、HumanEval、Aider Polyglot 这些耳熟能详的基准测试，测的都是模型「打开即用」的瞬间能力。

但它们回答不了一个更重要的问题：给模型足够的时间和反馈，它能从环境中持续学习、不断改进吗？

7 月 6 日，字节跳动 Seed 团队发布 EdgeBench，正式把 AI 智能体评测拉进了「马拉松时代」。

EdgeBench 是什么

EdgeBench 是一个面向 AI 智能体的超长程评测基准，包含 134 个真实世界任务，覆盖六大领域：

1. 科学发现（Scientific Discovery）
2. 软件工程（Software Engineering）
3. 组合优化（Combinatorial Optimization）
4. 专业知识工作（Professional Knowledge Work）
5. 形式化数学（Formal Mathematics）
6. 交互式游戏（Interactive Games）

每个任务设计为持续至少 12 小时 的连续智能体操作，远超传统评测的单次问答模式。论文作者透露，每个任务背后平均投入了 57.2 小时 的专家人工构建成本。

核心发现：Log-Sigmoid 缩放定律

EdgeBench 最引人注目的发现，来自大约 38,000 小时 的智能体环境交互数据分析。

研究团队发现，智能体在环境中的学习表现，精确地遵循一条 log-sigmoid 曲线。将 134 个任务按交互时间聚合后，五个前沿模型的表现拟合精度 R² 高达 0.998。

这条曲线意味着什么？智能体不是线性进步的——初期学习速度较快，然后逐渐趋于饱和。这种规律性为预测模型在真实场景中的长期表现提供了数学基础。

学习速度每三个月翻倍

更令人惊讶的是跨代际趋势。论文对比了 2025 年 9 月到 2026 年 5 月间的前沿模型，发现智能体的环境学习速度大约每三个月翻一倍。

这个发现暗示，我们可能正在经历智能体能力的一种新型摩尔定律——不是算力翻倍，而是「从经验中学习」的效率在指数级增长。

12 小时排行榜

论文评测了五个主流模型在 12 小时预算下的表现：

模型	2 小时得分	12 小时得分	代码类 12h	形式数学 12h
Claude Opus 4.8	39.0	51.3	67.4	55.0
GPT-5.5	36.8	48.4	65.0	50.0
GPT-5.4	29.7	39.3	54.1	40.8
GLM-5.1	26.0	37.4	50.9	24.6
DeepSeek-V4-Pro	23.3	31.0	43.0	14.1

Claude Opus 4.8 在 12 小时全长任务中拔得头筹，GPT-5.5 紧随其后。有趣的是，DeepSeek-V4-Pro 虽然在形式数学上表现较弱，但其学习曲线的陡峭程度（β=0.93）与 Claude Opus 4.8 相当，说明其环境学习效率并不低。

为什么 EdgeBench 重要

传统的 AI 评测像「期末考试」——只关心你答对了几道题。EdgeBench 更像「学徒期评估」——看你在真实工作中，能不能从反馈中学习、持续改进。

这个视角转换的意义在于：它更接近 AI 在真实世界中被使用的方式。没人会只让 AI 做一次就拍板，我们给它反馈、迭代、优化。EdgeBench 第一次系统性地量化了这个过程。

此外，51 个任务和完整评测框架已开源（GitHub），这为整个 AI 社区提供了一个标准化的长程评测平台。

局限与思考

EdgeBench 也有需要关注的问题。平均后的曲线很规整，但单个任务的学习轨迹远没有那么平滑。论文也指出，不同模型在不同领域的表现差异很大——DeepSeek-V4-Pro 在代码任务上能拿到 43 分，但在形式数学上只有 14.1 分。

另一个值得思考的点：12 小时的预算在实际应用中是否足够？研究团队已经在 28 小时和 72 小时的任务子集上做了扩展实验，拟合精度依然在 0.993 以上。未来的「马拉松」可能还会更长。

结语

EdgeBench 的发布标志着 AI 智能体评测的一个重要转折——从「会不会做」到「能不能学」。随着智能体越来越多地进入真实工作场景，这种衡量「学习能力」而非「静态知识」的评测方式，将变得越来越关键。

学习速度每三个月翻倍的规律如果持续，我们离真正能在复杂环境中自主进化的 AI 智能体，可能比想象中更近。