雙 16GB GPU 跑本地大模型:VRAM、速度與主機板取捨
3C 產品

雙 16GB GPU 跑本地大模型:VRAM、速度與主機板取捨

TechLab 編輯部·

兩張顯示卡可擴大可載入模型的範圍,但不會變成一張更快的高階卡。

XDA 作者以兩張 RTX 5060 Ti 16GB 測試本地大型語言模型,發現雙卡可分拆載入 Qwen3-32B 與 Llama 3.3 70B 等單張 16GB 顯示卡無法載入的模型。對本地 AI 使用者而言,關鍵在於模型權重與 context 所需的 VRAM;當需求超出單卡容量,第二張卡可提供另一個放置模型分段的空間。

不過,這不代表兩張 16GB 卡會化身成一張 32GB 的高速顯示卡。XDA 的結果顯示,雙卡方案能接近 32GB VRAM 的可用容量上限,速度卻約為 RTX 5090 的一半;而 PCIe 插槽的實際通道數、M.2 插槽的 lane sharing、供電、散熱及模型分拆方式,都會決定方案能否穩定運作。

VRAM 增加的是模型容納空間

XDA 在固定的 llama.cpp 版本、prompt 與設定下,測試 Qwen3-14B Q4_K_M、Qwen3-32B Q4_K_M,以及 Llama 3.3 70B Instruct IQ3_XXS。單張 RTX 5060 Ti 16GB 可執行檔案大小 9GB 的 14B 模型;32B 模型嘗試配置 18,424MiB 權重時已因 VRAM 不足失敗,70B 亦無法載入。將模型分拆至兩張卡後,三個模型均可運行。

這裡的「32GB」應理解為軟件把模型不同部分放到兩張卡,而非所有工作都可隨意共用同一塊 VRAM。分拆確實能突破單卡容量限制,但每張卡仍有自身開銷,實際可用容量不會等同簡單相加。

XDA 亦按 context 長度量度用量:32B 模型在 16,384 tokens 時需 23,631MiB,在 32,768 tokens 時升至 27,855MiB。作者據此推算,約 24GB 的顯示卡可讓該模型在約 16,000 tokens context 運行,但難以達到 32,768 tokens。至於測試中的 70B 模型,在僅 4,096 tokens context 已需 28,219MiB,因此 24GB 卡也無法載入。

14B 模型雖然可在雙卡環境顯示更大的可配置 context 空間,但 XDA 指出 Qwen3 本身訓練至 40,960 tokens,而 llama-server 會限制 session;對已能放進單卡的小模型,第二張卡未必能換來更長的實際對話記憶。

分拆方式直接影響生成速度

llama.cpp 預設採用 layer split:第一張卡處理一部分層後交給第二張卡,兩卡較像接力運算。XDA 測得 14B 在單張卡為 46.31 tokens/s,採用 layer split 的雙卡則為 46.37 tokens/s,幾乎沒有加速。

改用 tensor split 後,每一層由兩張卡同時處理,速度才有明顯提升:

模型 雙卡 layer split 雙卡 tensor split RTX 5090
Qwen3-14B Q4_K_M 46.37 tokens/s 79.64 tokens/s 148.2 tokens/s
Qwen3-32B Q4_K_M 20.82 tokens/s 37.16 tokens/s 72.0 tokens/s
Llama 3.3 70B IQ3_XXS 14.95 tokens/s 26.57 tokens/s 45.3 tokens/s

XDA 的 tensor split 相比 layer split 約快 1.7 至 1.8 倍,記憶體用量則大致相若。作者初次使用 tensor split 時遭遇 CUDA 錯誤,最後發現是 container 內的 NCCL 與驅動所用 CUDA 版本不配對;改用 CUDA 13 映像後才排除問題。這也反映雙卡本地 AI 的難度不只在硬件,軟件映像、驅動與 GPU 溝通程式庫的版本同樣重要。

PCIe 插槽外觀不等於通道足夠

XDA 最初在 Gigabyte Z890 Aorus Master 安裝雙卡,第二條全長插槽實際只由晶片組提供一條 PCIe lane。載入 70B 模型時,連線出現 154 個 receiver errors,第二張卡更從 PCIe bus 消失。作者其後改用 Asus ROG Maximus Z890 Apex,讓兩張卡各以 CPU 提供的 x8 通道運作,後續 benchmark 未再錄得 PCIe 錯誤。

有趣的是,在該測試中,窄通道插槽的 layer split 速度與 x8 平台差異不大;問題主要是穩定性而非單純吞吐量。對打算加第二張卡的人,這是比插槽長度更重要的檢查項目:主機板標示全長 x16 插槽,不代表它必然以 x16、x8,甚至穩定的多 lane 模式連接。

XDA 也指出,其 Apex 主機板在使用兩張 GPU 時,必須讓指定的兩個 M.2 插槽保持空置,否則第二條 GPU 插槽會降至 x4 或直接停用。實際裝機前應查閱主機板手冊的 lane-sharing 表;安裝後,亦可用 nvidia-smi --query-gpu=pcie.link.width.current --format=csv 檢查兩張卡實際協商到的 PCIe link width。

選購與設定前的檢查清單

  • 先以目標模型、量化格式及預計 context 長度估算 VRAM,不能只看模型檔案大小。
  • 確認軟件是否支援多 GPU 與 tensor split;只用 layer split,可能只得到容量而幾乎沒有速度提升。
  • 查主機板手冊,確認第二條插槽的實際 PCIe 通道來源與數量,以及裝上 M.2 SSD 後會否降速或停用。
  • 預留兩張顯示卡的物理間距、散熱與電源容量,並確認系統能穩定辨識兩張卡。
  • 讓 CUDA 驅動、container 映像與 NCCL 等相關元件保持相容,出錯時不要只從硬件方向排查。

XDA 的比較顯示,雙 16GB 卡對「模型放不下」的問題有實際作用,尤其是已持有一張 16GB 卡、又希望測試更大本地模型的使用者;但追求每秒生成速度、較簡單部署與較少相容性風險的人,單張高階大 VRAM 卡仍有明顯優勢。這次測試的平台、作業系統與軟件設定均屬個案,其他主機板和模型服務框架的結果未必相同;下一步應觀察不同多 GPU 軟件對分拆效率與穩定性的支援是否改善。

延伸閱讀

AI 輔助說明: 本文由 AI 協助整理。


參考來源

本文根據原文及公開資料整理;資料有出入時,以原文及官方資料為準。

分享:WhatsAppThreadsTelegramFacebook