TAG

#私隱運算

4 篇文章

TechLab 所有關於「私隱運算」嘅文章、評測同教學，由最新排起。

XDA 用兩部 NVIDIA DGX Spark 分擔 284B 參數嘅 DeepSeek V4 Flash，輸出升到每秒 36 至 41 token，寫 code 一度衝上 76。不過「追上雲端」主要係指模型毋須再壓到 2-bit，加上作者主觀使用感受，未有完整質素或雲端速度對照。

XDA 作者用 128GB ROG Flow Z13 配 Lemonade，將簡單問答、寫作、程式碼同重型推理分流畀唔同本地模型。120B 模型速度相當搶眼，不過呢套玩法好睇 GPU 記憶體、backend 同 context 設定，亦未證明離電後可以撐幾耐。

XDA 作者用一部升級至 32GB RAM 嘅 x86 NAS，長開 Gemma-4-E2B 同 embedding model，文件搜尋、筆記分類呢類輕量工作確實跑得到。不過 10.5 token/s 只屬單一配置結果，RAM、ZFS、其他 app 同電費先要計清楚。

Colibrì 用 25GB RAM 跑 GLM-5.2 好吸睛，但唔等於平機打贏 AI server；值得睇嘅係 MoE 點樣將 VRAM 壓力搬去 NVMe、RAM cache 同 CPU。