Microsoft-Decision-1:AI Agent 路由的速度、成本與風險取捨
Tech News

Microsoft-Decision-1:AI Agent 路由的速度、成本與風險取捨

圖片:TechLab 自製資訊圖
TechLab 編輯部(譯)·

Microsoft 推出 Microsoft-Decision-1,定位為供路由、分類、優先排序、驗證及工作流程控制使用的決策模型。TechNews 科技新報 報道指出,該模型會經 Microsoft Foundry 提供,並計劃登上 OpenRouter。它瞄準的並非替用戶長篇生成文字,而是讓軟件取得可直接執行的結構化結果;對正在建立 AI Agent 的團隊來說,這類模型可放在工作流程前端,決定任務應否放行、交給哪個模型處理,或轉交人工覆核。

不過,這宗發布最重要的限制同樣清楚:延遲、準確率、信心分數與成本優勢,現時均主要是 Microsoft 的說法。TechNews 科技新報 報道所載資料未有附上完整模型卡、測試提示、資料集分布、失敗案例及可重現設定。因此,開發者可把它視為一個值得評估的候選工具,卻不宜僅憑單一基準榜或每百萬 token 報價,便假定它在自己的客服、合規、交易審批或內部自動化場景必然較可靠。

決策模型放在 Agent 流程的哪個位置

通用大型語言模型擅長寫作、摘要及處理開放式問題,但 Agent 系統往往還有一批較窄、卻直接影響成本和風險的判斷:一個請求是普通問答、需要搜尋、需要調用工具,還是涉及敏感操作?輸出是否符合既定格式?多項工作應如何排序?若每一步均交由通用模型處理,系統可能為簡單分類付出不必要的時間與 token,亦可能因輸出不穩定而增加後續程式處理。

Microsoft 軟件工程副總裁 Achint Srivastava 在官方介紹中把決策模型描述為針對可由軟件立即執行的結構化輸出而設計。按這個定位,Microsoft-Decision-1 的價值在於擔任「交通指揮」:先用較專門的模型判斷意圖及風險,再把真正需要推理或生成的個案送往較強大的模型。這是一種系統架構取捨,而非單一模型取代通用 LLM;後者仍要負責那些需要解釋、創作或多步推理的工作。

TypeSafe AI 較早前發布的 Jev,正反映同一方向。TechNews 科技新報 指出,Jev 是經微調的 LLM,會就特定類型問題給出範圍受限的機率評分回覆,並以速度、相對低價及受限制的回應內容作為企業使用賣點。這類設計令系統較容易把模型輸出接入規則引擎或程式碼,避免每次都要從自由文字中抽取意思;但「受限制」不等於正確,模型選錯類別或錯估信心,仍會把錯誤帶到下一步。

數字吸引,但不能脫離測試條件

Microsoft 聲稱,Microsoft-Decision-1 在延遲測試中比 Jev 快 2.8 倍;在 36 項基準測試取得 83.5% 準確度並居首,信心分數則以 92.2% 排第二。另據報道,在文字分類任務上,它的成本較 OpenAI 的 GPT-6 Sol 低逾 20 倍。這些數字若能在相同任務、輸入長度、併發量及品質門檻下重現,確實可能改變 Agent 的路由設計,尤其是每天要先處理大量簡單請求的服務。

但基準測試未必等同生產環境。分類標籤是否互斥、輸入是簡短還是混雜文件、錯把高風險個案判為低風險的代價有多高,都會左右實際表現。83.5% 的整體準確率也不能直接說明每一類錯誤的嚴重程度;若失誤集中於罕見但重要的個案,平均成績對部署決定幫助有限。至於信心分數,團隊更應檢查「高信心時是否真的較常正確」,否則以它設定自動放行門檻,反而可能令錯誤被放大。

成本比較也要計算整條流程,而非只看單價。TechNews 科技新報 報道指,Microsoft-Decision-1 每百萬個輸入 token 收費 0.042 美元,輸出 token 免費。由於其用途是輸出結構化決策,輸出量較少時這種定價有吸引力;然而,若模型誤路由令請求重試、送往更昂貴模型,或觸發人工介入,節省的 token 成本可能被後段處理抵銷。對企業而言,應以每宗成功完成的工作成本,以及可接受錯誤率來比較。

以 Qwen 為基礎帶來的採用問題

報道稱,Microsoft-Decision-1 建基於 Qwen3.5-9B;Qwen 系列由阿里巴巴旗下阿里雲開發。Microsoft 未有交代選用該基礎模型的具體原因,只表示近期會把 Microsoft-Decision-1 的基礎重建於自家模型及 OpenAI 的模型之上。這表示產品定位與底層模型並非固定綁定,日後性能、輸出行為及成本條件都有可能改變,團隊不應只以現時一次評測結果作長期承諾。

在實務上,若把模型放在 Agent 的關鍵路由點,版本變動尤其值得留意。相同輸入在新版模型下可能被分到不同類別,令工具調用、監察指標和人手覆核量一同變化。較穩妥的做法是保留固定的評估集,涵蓋常見、模糊、對抗性及高後果個案;在更換模型、調整 prompt 或修改標籤時,先以影子模式比較新舊路由結果,再逐步擴大自動化範圍。這是從報道所述的模型轉換計劃可合理推得的部署考慮,並非 Microsoft 已公布的功能。

評估時應先量度錯誤後果

開發者可先把候選工作分開:低後果且規則明確的意圖分類、內容格式檢查和隊列排序,較適合測試決策模型;涉及付款、存取權限、法律合規或不可逆操作的決定,則需要把模型輸出視作訊號,配合規則、審計紀錄及人工覆核。模型提供機率或信心分數時,也應實際量度不同門檻下的誤放行與誤攔截比例,不能把分數直接當成可靠程度。

可比較的指標至少應包括端到端回應時間、每個已完成工作所耗成本、各類別的準確率、格式不合格率,以及錯誤後能否安全回退。若用決策模型只是為了把所有請求轉送同一個通用模型,節流效果可能很小;若它能準確剔除無須昂貴推理的個案,或及早攔截不應執行的操作,價值才較清晰。相反,對語境複雜或分類邊界不穩的工作,過早路由可能令系統多加一層錯誤來源。

決策模型市場看來正在升溫。除 Microsoft-Decision-1 外,TechNews 科技新報 報道亦列出 OpenAI 的 Decisions API 公開測試、Cloudflare 的 Clef、Perplexity 的 Decisions API、Snowflake 的相關模型,以及建基於 Qwen3.5-4B 的 H2O-Lightning-4B,並稱市場上估計已有逾 100 款同類模型爭取關注。下一步值得觀察的,不是宣傳中哪一款模型暫居榜首,而是供應商能否提供足夠透明的評測資料、穩定的版本管理及真實工作流程成效;這些因素會直接影響團隊能否把模型安全地放到 Agent 的決策關口。

延伸閱讀

AI 輔助說明: 本文由 AI 協助整理,並經兩輪獨立自動品質審核;資料及連結仍以原始來源為準。


參考來源

本文根據原文及公開資料整理;資料有出入時,以原文及官方資料為準。

分享:WhatsAppThreadsTelegramFacebook