METR 報告揭 Anthropic 以 AI 加速研發:數據與透明度同受質疑
Tech News

METR 報告揭 Anthropic 以 AI 加速研發:數據與透明度同受質疑

圖片:TechLab
TechLab 編輯部(譯)·

Anthropic 讓 AI 協助研發下一代 AI 的速度正在加快。AI 安全研究機構 METR 在 Anthropic 內部進行 11 星期評估後稱,該公司模型的進展速度較一年前約快一倍;按其 benchmark 解讀,過去一年取得的進度約相當於兩年歷史進展。這對使用 AI 開發工具的工程團隊、企業採用者及安全監管討論都有影響:AI 不只是在交付產品,也可能縮短製作下一個更強模型的週期。

不過,這份結論目前不能被當成完整、可獨立覆核的量度。METR 指 Anthropic 可刪節公開報告內容,並刪去大部分其認為最有資訊價值的證據;部分資料請求亦被拒。另一方面,有關員工工作效率的數字來自內部 Slack 問卷及訪談中的自我申報,不能直接等同客觀生產力增幅。

報告實際量度了甚麼

METR 的重點並非量度單一模型在某一項測試的分數,而是嘗試估算 Anthropic 研發能力的加速來源。研究人員根據模型 benchmark 表現,判斷進展快於一年前,並表示有信心主因不只是增加訓練運算資源;截至 10 月,AI 的貢獻已佔大多數,而且比例持續上升。

作為佐證之一,使用 Anthropic 最強內部模型的員工平均自報:在各自工作上,效率約為沒有 AI 協助時的 12 倍,約是數月前使用 Mythos 5 時所報數字的兩倍。這可反映員工感受到工具能力提升,但問卷不會自動扣除工作難度、樣本選擇、估算偏差或協作成本,因此較適合作為方向性訊號。

報告亦指出,現階段的主要模式仍是 AI 輔助人類研究者,而非 AI 獨立完成研發。不過,METR 看到全自主貢獻可能很快變得更重要的跡象,且未發現明確的報酬遞減或可觀察瓶頸,會阻止速度再加快。

對開發工作流程的意義

若這個趨勢成立,AI 開發工具的影響會由「加快寫程式」延伸至研發迴圈本身:研究者可借助模型處理更多實驗、分析與迭代,再以改良後的模型進一步提高下一輪工作效率。這是一種可能的正向回饋,但仍要分清「由人主導、AI 加速」與「AI 可自行持續改良後繼系統」兩個階段;公開資料現時較明確支持前者。

對企業技術團隊而言,短期較實際的問題是如何把 AI 放進可驗證的工作流程。自動生成的研究、程式或評估結果需要人員審核、版本控制和測試,否則表面上的產出加速未必會轉化為可靠交付。報告中的自報效率數字尤其不應被直接套用到其他公司或職位。

透明度成為安全討論的限制

Anthropic 向 METR 提供了非公開研究、模型表現資料和員工訪談,METR 亦稱獲得的資料多於原先範圍;但這不代表評估者取得不受限制的存取權。Anthropic 聯合創辦人 Sam McCandlish 回應時承認大量刪節令外界更難檢查 METR 的工作,並稱公司認為披露加速原因既涉及商業敏感資料,也可能為競爭對手提供加速路線圖;公司計劃在未來數星期另發表 AI 進展速度與安全措施的報告。

這正是此事最難處理的取捨:披露太多可能協助其他實驗室加快,披露太少則令研究者、政府和公眾難以判斷風險評估是否站得住腳。METR 表示,被刪除的證據可有多種合理解讀,令公眾更須依賴其判斷。

下一步值得觀察的是 Anthropic 後續公開資料能否補足被刪節部分,以及獨立評估者能否在保護敏感資訊下,清楚交代證據與不確定性。隨着 AI 更深度介入 AI 研發,開發者工具的能力增長與安全審查的節奏,將愈來愈難分開看待。

延伸閱讀

AI 輔助說明: 本文由 AI 協助整理。


參考來源

本文根據原文及公開資料整理;資料有出入時,以原文及官方資料為準。

分享:WhatsAppThreadsTelegramFacebook