AI Agent 用電 136 倍背後：工具調用點樣拖慢又食電
KAIST 量化 agent 工作成本，企業要重新計 latency 同雲端帳單
136.5 倍唔係通用答案
TechNews 科技新報報道，KAIST Minsoo Rhu 團隊喺 HPCA 2026 發表研究，用 AI Agent 作為數據中心負載去量化。最搶眼係 136.5 倍：論文入面呢組係 HotpotQA、Llama-3.1 70B、Reflexion 高準確設定，單一查詢 GPU 用電 348.41Wh，對比單輪 ShareGPT baseline 嘅 2.55Wh。呢個數字有參考價值，但唔好直接套落所有 agent。ReAct、LATS、coding agent、客服 agent，tool call 數、模型大小、任務難度唔同，帳單可以差好遠。
圖片：arXiv / Kim et al.
最食電嘅位
一般 chatbot 多數一次 prompt 出一次答案，agent 就係反覆拆任務、call LLM、查網上資料、跑程式、用計算工具，再攞結果塞返入下一輪判斷。論文測試 CoT、ReAct、Reflexion、LATS 同 LLMCompiler，工具型 agent 嘅 LLM call 次數平均多過 CoT 9.2 倍，LATS 甚至平均去到 71 次。每多一次 call，都唔係淨係多幾個 token，仲多咗排隊、prefill、decode、工具等候同 context 管理，雲端成本就係喺呢啲碎位累積出嚟。
圖片：arXiv / Kim et al.
GPU 空轉點樣發生
GPU 空轉 54.5% 呢點，對做 infra 嘅人反而最有用。agent call Wikipedia API、Wolfram Alpha 或者本地 Python tool 嗰陣，LLM 往往要等工具回傳；GPU 開住，但未必有 token 要吐。論文講 HotpotQA 同 MATH 呢類外部工具任務特別明顯，因為工具 latency 唔由 GPU 控制。換句話講，買多啲 GPU 未必自然解決問題；如果調度、batching、cache 同 tool timeout 冇設好，貴硬件會坐喺度等。
準確率有升，但 latency 會拖尾
呢份研究唔係話 agent 冇用。Reflexion、LATS 呢類方法本來就係用反思同搜尋換準確率，論文亦見到平行搜尋有時可以快過順序反思；LATS child nodes 由 1 加到 16 之後，準確率多咗 14.4 個百分點，平均 latency 低咗 196.3 秒。不過平行化嘅代價係同一時間更多 LLM request 一齊入隊，對多租戶服務嚟講就會變成 RAM、KV cache、queue 同 rate limit 壓力。用家見到嘅係「agent 好醒」，營運團隊見到嘅係 p95 latency 同每單成本。
公司點樣用呢個研究
對想自建 agent 嘅公司，呢份論文最實際嘅提醒係：唔好淨係問模型準唔準，仲要先定每個任務值幾多秒、幾多錢、幾高成功率。coding agent 改 repo、跑測試、開 PR，值唔值得用 70B 模型反覆諗，要睇佢慳到幾多工程時間；客服 agent 查 CRM、訂單同知識庫，就要睇每單查詢成本有冇食晒人手節省。KPMG US 近期調查都提到，受訪大型美國機構入面得 26% 可以即時睇到 AI 成本全貌，呢個盲位去到 agent 時代會放大。
下一步睇咩
所以，136.5 倍最有價值嘅讀法，係幫 agent 由產品 demo 拉返落成本模型。每個 tool call 都應該有 budget，每輪反思都要有退出條件，低價細模型、cache、batching、平行上限同人工接手位都要一齊設計。AI Agent 會繼續有用，尤其係開發、研究同內部自動化；但大規模推出之前，先量清楚 latency、準確率同每單成本，會可靠過一味加深推理步數。
參考來源
- TechNews 科技新報 — AI 代理效率致命傷：GPU 逾半時間空轉，耗電量大破表 — original report
- The Cost of Dynamic Reasoning: Demystifying AI Agents and Test-Time Scaling from an AI Infrastructure Perspective — 論文原文，用嚟核對 136.5 倍、348.41Wh、latency、GPU idle 同測試設定。
- KAIST EE：Professor Minsoo Rhu’s Team First Reveal the Hidden Power Cost of AI Agents — KAIST 官方研究摘要，用嚟核對團隊、HPCA 2026 同官方口徑。
- VIA-Research / AgentBench — 論文開源 benchmark 同 agent 實作，用嚟核對 ReAct、Reflexion、LATS、LLMCompiler 設定。
- HPCA 2026 Main Conference Program — 會議議程，用嚟核對呢篇論文喺 HPCA 2026 主會議出現。
- KPMG US：Q2 AI Pulse 2026 — 補充企業管理 AI 成本可視度嘅背景。
本文根據原文及公開資料整理；資料有出入時，以原文及官方資料為準。
