OpenClaw 塞入 mini PC 就取代到雲端?本機 AI 仲有幾道硬件關要過
3C 產品

OpenClaw 塞入 mini PC 就取代到雲端?本機 AI 仲有幾道硬件關要過

圖片:via Tom's Hardware — https://www.tomshardware.com/tech-industry/artificial-intelligence/setting-up-openclaw-isnt-as-straightforward-as-the-internet-wants-you-to-think-running-local-ai-on-humble-hardware
TechLab 編輯部(譯)·

64GB RAM 都要揀細模型,預載完成亦未等於識做事

64GB RAM 聽落多,分完其實唔鬆動

Beelink SER10 MAX 預載 OpenClaw 同本機模型,概念幾吸引:一部細機長開,幫手搵資料、整理文件、定時做事,prompt 同推理資料又可以留喺自己部機。不過 Tom’s Hardware 今次由安裝行到實際任務,示範咗「預載」只係慳咗下載框架嗰一步,模型點揀、記憶體點分、工具權限同網上搜尋點接,仍然要用家逐樣處理。

測試用嗰部 SER10 MAX 配備 64GB DDR5-5600 RAM,作者撥咗 48GB做共享顯示記憶體,淨返 16GB畀 Ubuntu、OpenClaw 同其他程式。呢個分法正好反映本機 AI mini PC 面對嘅記憶體限制:整合 GPU 冇獨立顯示記憶體,要同系統爭同一池 RAM。買 32GB 版本可能跑到細模型,但一開瀏覽器、工具同長 context,餘量會好快用清。

Beelink SER10 MAX OpenClaw 版本 mini PC 官方產品圖

圖片:Beelink

AI TOPS 大,生成速度未必快

SER10 MAX 用 Ryzen AI 9 HX 470,AMD 列出嘅規格包括 12 核心、Radeon 890M 同最高 55 TOPS NPU;Beelink 就宣傳全機合計 86 TOPS。不過呢次用 llama.cpp 跑 GGUF 模型,體驗更直接受模型大小、量化、GPU 支援同記憶體頻寬影響。用一個總 TOPS 數字判斷 local LLM 快唔快,好容易買錯機,尤其 NPU 規格未必會直接變成 llama.cpp 嘅生成速度。

Tom’s Hardware 先用 Gemma 4 31B 嘅 UD-Q8_K_XL 量化版本,量化精度高,但結果得 2.34 token/s;一般查詢平均生成 116 tokens,等答案要等成分鐘。作者估計,就算壓到 4-bit,呢部機跑同一模型亦只會去到約 5 token/s。轉用 Gemma 4 12B Q4_K_M 後就升到 10.64 token/s,互動先算順返。數字只代表嗰次配置,不應直接套落其他 mini PC,但個取捨好實際:模型塞得入 RAM,唔代表跑得舒服。

Google 官方資料亦列出,Gemma 4 31B 單計模型推理,Q4_0 約用 17.5GB 記憶體,8-bit 就約 34.9GB;12B Q4_0 約用 6.7GB。實際仲要預 context、快取同執行環境,所以揀機時要預鬆動空間。想用 31B 級模型,容量只解決咗「載入到」;高頻 LPDDR5X、Strix Halo 呢類闊記憶體頻寬平台,或者獨立 GPU,先較有機會改善等待時間。

講到識做,細模型又卡喺工具設定

作者叫 12B 模型設定定時新聞摘要,HammerClaw 聲稱已經整好 cron job 同搜尋 Skill,實際只係模擬做過,仲生成咗一批開唔到嘅連結。最後要借助雲端 Kimi K3,讀官方文件、寫好指令、搜尋設定同排程,再交返畀本機模型執行,先成功經 Telegram 收到十篇新聞摘要。即係部 mini PC 跑本機 agent 確實幫到手,但遇到複雜設定,仍可能要用較強模型或者人手執手尾。

呢個結果亦點出模型評測經常漏咗嘅一環:文字答得順,工具調用未必可靠。Agent 要識分清「計劃做」、「已經做」同「工具報錯」,仲要處理多步依賴;細模型慳 RAM 同快咗,判斷力亦可能一齊縮水。用嚟分類文件、改格式或者跑固定流程尚算合理;要佢自行研究、安裝 Skill、建立排程再驗證結果,就要加日誌、檢查點同人工確認。

資料留本機,權限風險仍然喺度

本機推理確實有私隱好處,敏感 prompt 同文件毋須每次送去模型供應商。不過 OpenClaw 一接 Telegram、網上搜尋、電郵或者第三方 API,資料流就唔再局限於部 mini PC。更要小心係 agent 可以讀寫檔案同執行指令;OpenClaw 官方文件顯示,gateway 或 node host 嘅 exec 預設可設成 full,而且預設毋須逐次詢問。網頁內藏 prompt injection,或者來源不明嘅 Skill,都可能借呢啲權限掂到憑證同私人檔案。

實際部署最好畀 OpenClaw 用獨立系統帳戶同專用 API key,只開任務用得着嘅資料夾、網上服務同指令,再用 sandbox、allowlist 同人工批准限制執行權限。第三方 Skill 應當成本機程式碼咁審,唔好見到幾行說明就直接裝。私隱收益來自清楚控制資料去向;如果 agent 長開又攞齊主帳戶憑證,風險只會由雲端供應商搬返入自己部機。

邊類人值得整一部

本身識 Linux、會睇日誌,又有固定重複工作要處理嘅開發者或自由工作者,可以用 64GB 級 mini PC 做一部長開、反應快兼相對私密嘅本機推理盒。一般用家如果只係間中問問題,雲端模型通常省事得多;想兩邊兼顧,平時交畀細模型處理分類同固定流程,遇到複雜設定先轉雲端,會較貼近今次測試得出嘅可行做法。揀機前應先定工作同模型,再計 RAM、頻寬、速度同權限,唔好只睇包裝上面個 AI TOPS 數字。


參考來源

本文根據原文及公開資料整理;資料有出入時,以原文及官方資料為準。

分享:WhatsAppThreadsTelegramFacebook