1.5TB 大模型用 25GB RAM 跑到，Colibrì 其實證明咗咩？

25GB RAM 跑到，唔代表已經啱用

Tom's Hardware 報道嘅 Colibrì，係意大利工程師 Vincenzo（GitHub 名 JustVugg）寫嘅 proof-of-concept。佢用純 C engine，喺一部普通 CPU、25GB RAM、約 1GB/s 嘅虛擬 NVMe 環境，跑起 Z.ai GLM-5.2 呢個 744B MoE 大模型。聽落好誇張：原裝 BF16 權重接近 1.5TB，Colibrì 量化後嘅 int4 版本放喺碟大約 370GB，常駐 RAM 嘅 dense 部分約 9.9GB，聊天時 peak RSS 約 20GB。呢個工程位係真有料，但唔好即刻理解成「25GB RAM 就有雲端級 AI」。

速度先係成件事最冷靜嘅部分。JustVugg repo 寫明，佢自己 WSL2 dev box 冷啟 decode 大概 0.05 至 0.1 token/s；Tom's Hardware 亦用呢組數字提醒，正常對話通常要去到 20 至 30 token/s 先叫順。即係你問一句問題，答案可能等到你想斟第二杯咖啡都未出完。repo 入面有 community benchmark，例如 Apple M5 Max 128GB unified memory 測到約 1.06 token/s，其他 x86 或 Ryzen AI setup 多數都仲係 0.1 至 0.4 token/s 級別。數字全部要當成作者同社群測試，唔係 TechLab 實測。

圖片：Z.ai GitHub

點解 MoE 可以咁玩

關鍵係 GLM-5.2 用 Mixture-of-Experts。Z.ai 官方資料列明，GLM-5.2 係 744B-A40B，意思係總參數好大，但每個 token 只活躍約 40B 參數。Colibrì 捉住呢點：attention、embedding、shared experts 等 dense 部分留喺 RAM；大量 routed experts 就放喺 NVMe，用到邊個先讀邊個。repo 寫得幾清楚，GLM-5.2 有 75 個 MoE layers，每層 256 個 experts，連 MTP head 計大約 21,504 個 routed experts，每個 int4 後約 19MB。

用人話講，Colibrì 唔係將 1.5TB 硬塞入 25GB RAM，而係不停喺碟入面拎細件零件出嚟。MoE router 每個 token 都會揀 experts，Colibrì 就按呢個選擇讀取、cache、替換。呢招聰明，但代價好直接：每個 token 冷讀大約 11GB expert data，NVMe random read、OS page cache、RAM LRU cache、CPU matmul 全部排隊等。你慳咗顯示卡記憶體，壓力就搬咗去儲存同記憶體頻寬，冇魔法。

圖片：Z.ai / Hugging Face

本地 AI 嘅樽頸，其實由 VRAM 變成成部機

呢件事有意思嘅地方，係佢令本地 AI 嘅限制清楚咗好多：大型 MoE 可以慢慢跑，但唔代表 home lab 已經可以舒服用 frontier model。以前講 local LLM，大家第一時間望 GPU VRAM：24GB 跑唔跑到、48GB 夠唔夠、要唔要多卡。Colibrì 示範咗另一條路：大型 MoE 可以經分層記憶體同 hot expert cache 慢慢吐答案。但一離開 datacenter GPU，瓶頸唔會消失，只係換成 NVMe、RAM、CPU、PCIe 同散熱一齊頂住。

JustVugg README 入面嘅估算都幾老實：PCIe4 NVMe、32GB RAM 可能上到 0.5 至 1 token/s；PCIe5 或雙 NVMe RAID0 加 64GB RAM，估計 2 至 4 token/s；128 至 256GB RAM 加更多 CPU cores 先可能摸到 5 至 15 token/s。不過作者自己都標明呢啲係估算，要更多實機數據。即使去到呢個水平，距離順滑聊天仍有距離，更唔好講多人同時用、長 context、工具調用同可靠 API service。

GLM-5.2 本身都要分清楚「官方 bench」同實際使用

Z.ai 官方 blog 話 GLM-5.2 主打長程任務、1M token context、coding agent，同埋用 IndexShare 降低 1M context 下嘅 per-token FLOPs，MTP speculative decoding acceptance length 亦提升最多 20%。佢哋亦列出多個 coding benchmark，例如 SWE-bench Pro、Terminal-Bench 2.1、FrontierSWE，話 GLM-5.2 喺開源模型入面好強，部分分數接近 Claude Opus 4.8、GPT-5.5 呢類閉源模型。呢啲係 Z.ai 自家披露嘅 benchmark，同 Colibrì 能否喺家用機舒服跑，係兩件事。

所以「frontier-level」呢個字眼要小心。GLM-5.2 可能係好強嘅 open-weight coding model，權重亦放咗上 Hugging Face，MIT license 對研究同自架設有吸引力。但 Colibrì 用 int4、streaming experts、超慢 decode 去跑佢，答案質素、量化損耗、長 context 穩定性，暫時都未有完整公開評測。repo 自己都話 full quality benchmark 係最缺嘅測量，因為喺作者嗰部機跑一次都要好耐。

開發者同公司 IT 而家應該點睇

如果你係 freelancer、developer 或細公司 IT，關心合約、客戶資料、內部文件唔想上雲，Colibrì 呢類項目值得睇，但暫時唔值得當生產方案。實際工作上，本地 AI 而家最合理都仲係細模型處理私隱敏感、格式固定、延遲要求唔高嘅任務，例如文件分類、草稿整理、embedding、RAG 前處理；真正複雜推理、長程 coding agent，同要即時回應嘅客服，暫時仍然要靠雲端 API 或較大硬件。

不過 Colibrì 畀咗一個幾實在嘅方向：未來本地 AI 未必一定係「買更大 GPU」，亦可能係模型架構、量化、hot expert cache、NVMe 分層、speculative decoding 一齊慢慢追。香港地方細、電費同噪音都要諗，低功耗 mini PC 或 NAS 式 home lab 如果想跑 AI，最需要嘅未必係追最大模型，而係揀啱任務、接受會慢，仲要諗清楚邊啲資料真係值得留喺本機。Colibrì 而家係工程示範，多過日常工具；下一步就睇社群能唔能夠用更快 NVMe、更大 RAM 同更好 cache 策略，將佢推到真正可用。

參考來源

• Tom's Hardware — Colibrì proof-of-concept gains frontier-level 1.5-TB AI model — novel approach runs on only 25GB of RAM and shows promise for local AI setups — original report
• JustVugg/colibri GitHub repository — Colibrì 作者 repo，列明架構、RAM/磁碟數字、社群 benchmark 同限制。
• Z.ai：GLM-5.2: Built for Long-Horizon Tasks — Z.ai 官方 GLM-5.2 blog，講 1M context、IndexShare、MTP 同官方 benchmark。
• zai-org/GLM-5.2 Hugging Face model card — 官方模型頁，確認 license、模型用途、下載同本地 serving 框架。
• zai-org/GLM-5 GitHub repository — 官方 GLM-5 系列 repo，列出 GLM-5.2 744B-A40B BF16/FP8 下載資料同部署支援。
• Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer — MoE 背景論文，用嚟補充 conditional computation 點解可以只啟用部分 experts。

本文根據原文及公開資料整理；資料有出入時，以原文及官方資料為準。