DeepSeek 新模型主打低資源推理,agent 部署仍須防幻覺
3C 產品

DeepSeek 新模型主打低資源推理,agent 部署仍須防幻覺

圖片:TechLab 自製資訊圖
TechLab 編輯部(譯)·

Tom’s Hardware 報道指,DeepSeek 最新一款開放權重 AI 模型面向 agent 工作負載,宣稱推理時只需約四分一 HBM,以及八分一 SSD 儲存空間。不過,報道同時指出,模型在這類工作流仍較容易出現幻覺。

對考慮自建或私有部署模型的開發團隊而言,顯存與儲存需求下降,理論上可降低硬件門檻,亦可能令同一批 GPU 資源承載更多推理任務。但這只屬部署成本的一環:實際開支還取決於吞吐量、延遲、併發量、模型量化方式、上下文長度,以及為減少錯誤而加入的額外驗證步驟。

數字可作方向,不能直接當採購依據

原報道沒有在可用資料中交代模型名稱、版本、測試配置、比較對象、工作負載或量度方法。因此,「四分一 HBM」和「八分一 SSD」應視為報道轉述的主張,未足以推算實際 server 數量、雲端帳單或企業總擁有成本。

尤其是 agent 不只是產生文字。它通常會搜尋內部知識、讀取資料、調用工具,甚至觸發後續流程。若模型為減少顯存或儲存需求而需配合較複雜的快取、檢索或重試設計,節省下來的基礎設施成本,可能部分轉移到工程、監控及人工覆核上。這是部署前需要以自身資料和任務驗證的取捨。

將幻覺風險隔離在工作流內

在客服回覆、內部知識庫查詢或流程自動化中,幻覺的影響不一樣:前兩者可能造成錯誤資訊;若 agent 可執行操作,後果可延伸至資料外洩、錯誤修改或不當交易。因此,較穩妥的做法是把模型輸出當作待驗證建議,而非直接指令。

可考慮在 agent 工作流加入幾道控制:

  • 要求回答附帶可追溯的內部資料來源;沒有足夠證據時應明確拒答或轉交人工。
  • 將模型可用工具拆分為最小權限,讀取、寫入、刪除及對外發送應分開授權。
  • 對金額、個人資料、正式文件、系統設定等高風險操作設強制人工覆核。
  • 記錄 prompt、工具調用、資料來源與結果,持續抽樣檢查錯誤類型。
  • 先以封閉範圍及非關鍵流程試行,再按實測準確度、失敗率與營運負擔擴展。

下一步看實際工作負載

低資源推理若能獲獨立測試支持,開放權重模型會為需要掌控資料與部署環境的團隊提供更多選擇。不過,在 agent 場景,應同時比較硬件資源、端到端任務成功率、錯誤後果及防護成本;特別是把模型接入企業資料和操作系統前,驗證與權限設計不能省。

延伸閱讀

AI 輔助說明: 本文由 AI 協助整理,並經兩輪獨立自動品質審核;資料及連結仍以原始來源為準。


參考來源

本文根據原文及公開資料整理;資料有出入時,以原文及官方資料為準。

分享:WhatsAppThreadsTelegramFacebook