OpenAI 內部實測:coding agent 能力上升,覆核流程仍不可少
Tech News

OpenAI 內部實測:coding agent 能力上升,覆核流程仍不可少

圖片:LrgFranzones
TechLab 編輯部·

OpenAI最新內部報告顯示,coding agent已能在無人介入下完成部分多小時研究工作。TechNews 科技新報 報道,若以人類需時2至4小時的委派任務計算,代理的自主成功率由3月的23%升至10月的46%;需時4至8小時的任務,成功率亦由13%增至35%。

這些數字對使用AI協助研發、資料分析或維運工作的團隊有參考價值,但不宜直接視為一般企業的導入成效。報告本身承認,研究員可能已改變交給代理的任務種類,因此成功率提高未必全由模型能力進步帶動。數據反映的是OpenAI內部研究流程的估算,而非所有開發環境的通用基準。

能完成長任務,不等於能承接整條工程流程

任務拆分後的落差更能說明代理現階段的能力邊界。TechNews 科技新報 指出,在今年8月1日至10月18日的統計中,代理監控模型訓練的成功率達79%;但自行啟動訓練只得35%,撰寫推論與服務程式碼則降至25%。

這代表代理較適合處理範圍明確、驗收條件清楚、可持續觀察的工作;一旦工作涉及環境配置、跨系統依賴或把程式投入實際服務,失敗機率便明顯上升。若把較高的「監控」成功率直接延伸為可放心交由代理部署或修改核心服務,容易低估中間環節的風險。

訪談結果也提供了具體警訊。報道稱,十名研究員提到代理有時會生成無法使用的資料、在分析中採取錯誤假設,或提交品質不佳的「AI slop」程式碼。這類問題未必會在程式成功執行時立刻暴露,卻可能污染實驗結論、造成維護負擔,甚至把錯誤帶入後續決策。

圖片:LrgFranzones · CC BY-SA 4.0

導入重點應放在可驗證的交接點

對開發團隊而言,較務實的做法是按風險安排人機分工。可將代理放在資料整理、監控、初步分析、測試草稿等環節,同時為每個輸出設置可重現的驗證程序;至於訓練啟動、推論與服務程式碼等較弱項目,仍應由熟悉系統的工程人員審核。

具體而言,覆核流程可包括檢查資料來源與假設、要求測試覆蓋關鍵情境、以獨立工具重跑結果,以及在併入正式程式碼前進行人工 code review。這些步驟未必能消除代理失誤,卻能把「看似完成」與「可安全採用」分開處理。

TechNews 科技新報 另指出,OpenAI以公開API牌價換算,10月研究人員每日使用代理的中位數約為2,400美元,使用量最高的前10%約2.3萬美元,分別較9月上升62%及105%。該數字是按牌價估算的用量,並非公司實際支出;不過,使用規模擴大也意味團隊更需要衡量驗證成本,而非只計算生成速度。

報告亦稱,OpenAI安全與資料同步研究的工作週數在1月至9月增加77%,並建議AI實驗室追蹤「遞迴自我改進」相關指標。其提出的新能力指標OECI顯示,AI能力維持穩定提升,未見加速。接下來值得觀察的,不只是代理能否完成更多任務,還包括研究與工程團隊能否建立足以發現錯誤、界定責任並保留人工決策權的驗證制度。

延伸閱讀

AI 輔助說明: 本文由 AI 協助整理。


參考來源

本文根據原文及公開資料整理;資料有出入時,以原文及官方資料為準。

分享:WhatsAppThreadsTelegramFacebook