EdgeBench 想量度 AI agent 點樣喺 12 小時任務入面學嘢

EdgeBench 量度長跑能力

TechNews 科技新報 報道，ByteDance Seed 發表 EdgeBench 研究，話 AI agent 喺長時間同真實任務環境互動之後，學習速度大約每三個月翻倍。先講清楚：呢個係 ByteDance Seed 自家論文同 benchmark 得出嘅 claim，暫時未見獨立團隊完整重跑確認。真正值得睇嘅位，係 EdgeBench 試圖量度 agent 喺 12 小時以上任務入面點樣試錯、收回饋、改方案，唔再淨係睇一次提交有冇答中。

圖片：ByteDance Seed / EdgeBench

點解 12 小時先有意思

平時好多 benchmark 好似考試，出題、答題、計分，完。開發者真用 coding agent 時，麻煩位通常唔係模型識唔識寫一段 function，而係佢可唔可以 keep 住測試、睇 log、保留前面學到嘅嘢，同埋失敗幾次之後唔亂改。EdgeBench 用可操作環境加 hidden judge，agent 可以喺 work container 入面跑 test 或 simulator，再交畀 judge container 拎分數同診斷。呢種雙回饋設計，貼近而家大家用 Codex、Claude Code 類工具做長工單嘅情況。

圖片：ByteDance Seed / EdgeBench

公開程度要睇清楚

官方講 EdgeBench 有 134 個任務，橫跨科學同 ML、系統同軟件工程、組合優化、專業知識、形式數學同遊戲；每個任務都設計成至少跑 12 小時。論文同 repo 都講，完整任務集入面而家公開 51 個，Hugging Face dataset 亦顯示 51 rows，想跑完整 134 個要聯絡團隊。即係排行榜可以參考，但第三方暫時未必可以完整重跑，透明度仲有一截要補。

scaling law 唔好聽到就上頭

ByteDance Seed 拎約 38,000 小時 agent 互動紀錄，話好多任務平均之後，表現曲線可以用 log-sigmoid fit 到好貼，平均 R² 去到 0.998；部分 28 小時同 72 小時長跑 subset 亦維持高 fit。呢啲數字好靚，但解讀要小心。佢講嘅係大量任務平均後出現順滑曲線，唔代表每個任務都會穩定變好；論文自己都有提到 bottleneck、任務難度分散、學習速度差異太大，都可能令呢條規律失效。

三個月翻倍仲唔應該解讀成你手上個 coding agent 下季就勁一倍。論文係揀 18 個起步表現相近嘅任務，用兩小時內分數增長做 learning speed，睇 2025 年 9 月到 2026 年 5 月嘅 frontier 模型；由 GPT-5-Codex 到 GPT-5.5，佢哋話約 221 日快咗 8 倍。呢個係研究圖上嘅 frontier trend，唔係任何 vendor SLA。

對產品團隊有咩用

如果你負責導入 agent，EdgeBench 最有用嘅地方係佢逼你用 agent-hour 諗數，唔好淨係望 pass rate。一個 agent 連跑 12 小時，token 成本、API 穩定、工具權限、私有資料隔離、回滾紀錄、context 壓縮全部都會變成產品問題。中小企用 agent 做 research、ops 或內部 coding 時，要問嘅問題會變得好實際：每多跑兩小時多幾多分，有冇可解釋回饋，失敗之後會唔會越改越亂。呢啲先係 EdgeBench 對比傳統一次過 benchmark 多出嚟嘅視角。

下一步睇重跑

最保守睇法：EdgeBench 係一個有意思嘅量尺，但仲未去到新摩爾定律。呢個研究最多係話，當網上公開文字愈嚟愈難再靠堆料推高模型，agent 點樣喺環境回饋入面學嘢，就值得分開量度。短期內要睇三樣嘢：公開咗嘅 51 個任務幾時有其他團隊重跑到，SForge harness 有冇唔同 agent scaffold 採用，長任務成本同資料隔離可唔可以做到公司接受。去到呢幾點清楚之前，「學習速度三個月翻倍」適合放喺研究脈絡入面，唔好直接當成買工具或者加 budget 嘅理由。

參考來源

• TechNews 科技新報 — 資料枯竭危機有解？字節跳動發現新縮放定律：AI 代理學習速度三個月能翻倍 — original report
• EdgeBench project page — 官方 project page，列出 134 個任務、12 小時長跑設定、51 個公開任務同 benchmark 方向。
• EdgeBench technical report PDF — primary paper，核實 38,000 小時互動、log-sigmoid fit、三個月翻倍 claim 同實驗限制。
• ByteDance-Seed/EdgeBench GitHub — 核實 leaderboard、SForge 設計、公開任務數量、license 同評估框架細節。
• ByteDance-Seed/EdgeBench Hugging Face dataset — 確認公開 dataset 顯示 51 rows，同任務資料以 CC BY 4.0 發布。
• South China Morning Post：ByteDance discovers new scaling law — 外部報道，用嚟對照 TechNews 引述同資料荒 framing。
• Epoch AI：Will we run out of data? — 補背景：公開人類文字可能喺 2026-2032 年用盡，解釋點解業界會搵 pretraining 以外嘅路線。

本文根據原文及公開資料整理；資料有出入時，以原文及官方資料為準。