舊款 Ryzen 手提電腦跑到本地 LLM,但未證明內置 GPU 真係有份
3C 產品

舊款 Ryzen 手提電腦跑到本地 LLM,但未證明內置 GPU 真係有份

圖片:via XDA Developers — https://www.xda-developers.com/running-local-llm-on-integrated-graphics/
TechLab 編輯部(譯)·

16GB RAM 配 4B 模型夠做輕量工作,實際加速方式仍有疑問

XDA 實際試咗啲咩

XDA 作者 Yash Patel 搵咗部配備 Ryzen 7 5825U、內置 Radeon 顯示核心同 16GB RAM 嘅手提電腦,裝 Ollama 跑 Gemma 3 4B。佢用嚟諗文章題材、摘要、解釋技術概念、改寫段落同答一般問題,主觀感受係模型載入冇出事,出字速度亦冇慢到阻住工作;瀏覽器同 Ollama 一齊開,部機照樣用得正常。以上全部都係 XDA 個人實測,TechLab 冇用同一配置重試。

Gemma 3 各款模型量化前後所需記憶體比較圖

圖片:Google Developers Blog

最大問題係冇證明 GPU 真係出緊力

原文標題將焦點放喺 integrated graphics,但正文冇交代作業系統、Ollama 版本、backend、driver,亦冇貼 ollama ps 嘅 CPU/GPU 比例。Ollama 官方資料顯示,Ryzen 7 5825U 其實唔喺 ROCm 正式支援名單;新版 Ollama 可以經 Vulkan 支援多啲顯示核心,但要有正確 backend 同 driver 先得。冇 offload 記錄,就分唔到模型究竟由 Radeon 加速、CPU 獨力處理,抑或兩邊分工。呢次測試可信嘅結論係部手提電腦跑得郁,唔係 iGPU 已經取代獨立 GPU。

4B 跑得郁,關鍵其實係量化同 RAM

Google 公布嘅 Gemma 3 QAT 數據,大致解釋到點解會有呢個結果:模型權重用 BF16 時,1B、4B、12B 同 27B 版本大約佔 2GB、8GB、24GB 同 54GB;轉做 int4 後,就分別縮到約 0.5GB、2.6GB、6.6GB 同 14.1GB。不過 XDA 冇寫明下載咗邊個量化版本,所以唔可以假定佢一定用 int4 或 Q4_K_M。模型載入後仲要預留 KV cache、Ollama 本身、作業系統同其他 app 嘅空間,context 拉得愈長,記憶體壓力亦愈大。

Ryzen 7 5825U 係 2022 年 Zen 3 八核心處理器,AMD 標示預設 TDP 15W,內置 Radeon 有八個 graphics core,GPU 最大記憶體標示為 2GB。呢種 APU 冇獨立 VRAM,運算會同 CPU 爭系統 RAM 同記憶體頻寬;16GB 配細模型尚算鬆動,轉跑 12B、開長 context 或同時開好多分頁,就容易開始食緊。32GB RAM 可以擴闊選擇,但舊款 DDR4 iGPU 嘅頻寬冇變,唔代表大模型會突然變順。

「夠用」仲欠幾個硬數字

XDA 冇公布首字延遲、輸出 tokens/s、prompt 長度、持續負載時脈、風扇聲同插座功耗,亦冇同作者部 RTX 5070 桌面機列出同場數據。文中所講嘅「夠快」只係使用感受,唔足以比較等幾耐先見第一隻字,或者一段長答案每秒出到幾多 token。Ryzen 7 5825U 嘅 15W TDP 亦唔等於整部機推理時只食 15W,冇實際量度就判斷唔到佢慳幾多電。

呢個分別會直接影響用途。短篇摘要、改文、度橋同簡單問答,就算等幾秒通常都可以接受,亦冇咁易撞到 4B 模型嘅能力上限;大型 codebase、長文件分析、多使用者服務、RAG、大量批次處理同講求低延遲嘅工具就係另一回事。XDA 今次亦冇測 coding 準確率,所以最多只可以話值得拎簡單補碼、解釋錯誤呢類工作試機,未能據此當成可靠 coding 助手。

邊類用家可以暫時唔買獨立 GPU

主要做摘要、改寫、整理私人筆記或離線問答嘅學生同自由工作者,如果手上已有 16GB RAM、近年多核心 CPU,可以先由 1B 至 4B 量化模型試起。開發者想熟習 Ollama API、prompt 流程或者砌細型 prototype,亦唔使一開始就買高階 GPU。香港居住空間、散熱同電費都係實際考慮,一部現成手提電腦做到基本工作,確實比加裝大卡方便。

要跑 12B、27B 模型、長 context、影像輸入、大型 coding 工作或者長時間服務,就仍然應該預算獨立 GPU 或較新嘅高頻寬統一記憶體平台。試機時先用 ollama ps 核對 CPU/GPU offload,再記低首字延遲、tokens/s、RAM 同功耗;記低呢幾項數據,先判斷到現有部機係咪真係夠用,使唔使再買獨立顯示卡。


參考來源

本文根據原文及公開資料整理;資料有出入時,以原文及官方資料為準。

分享:WhatsAppThreadsTelegramFacebook