AI 模型蒸餾點令 coding model 塞得入 laptop？同量化差喺邊

蒸餾其實係重新教一個細模型

大型 teacher 先按訓練資料產生答案，student 再學佢點分配機率、組織內容同處理任務。Hinton 等人提出嘅經典做法會用 teacher 嘅 logits，即係每個可能答案背後嘅機率，資訊多過淨係交一個標準答案。LLM 圈而家亦常見黑箱做法：大量問 teacher，再拎答案、程式碼、解題步驟或者評分去微調 student。兩種方法都唔會複製 teacher 權重，最後出嚟係另一套獨立模型。

DeepSeek-R1 就係一個幾清楚嘅例子

DeepSeek 公開資料寫明，R1-Distill 系列係拎 R1 生成嘅推理資料，微調 Qwen2.5 同 Llama 3 系列底模，尺寸由 1.5B 去到 70B。Google Gemma 2 亦用 27B teacher 蒸餾 2B 同 9B 版本；Google 技術報告話，呢兩款細模型喺部分 benchmark 有能力同大兩至三倍嘅模型競爭。不過呢啲係指定模型、資料同測試下嘅結果，換成廣東話、舊 codebase 或者冷門 framework，表現可以即刻走樣。

量化同剪枝做緊另外兩件事

蒸餾改變訓練方法同模型能力分布；量化就改權重用幾多 bit 儲存。 例如將 16-bit 權重壓到 4-bit，模型架構同參數數量大致照舊，但檔案細咗、搬數據亦少咗，代價係可能有精度損失。剪枝就會刪走較唔重要嘅連接、權重甚至層。三招可以一齊用：先蒸餾出 8B student，再整成 4-bit GGUF，正正係本機模型常見嘅交付方式。

點解 laptop 終於跑得郁

參數少會直接減輕運算同記憶體壓力；量化再壓低每個參數嘅體積。以 8B 模型計，4-bit 權重單計原始數據約 4GB，不過實際仲有量化 metadata、推理程式、作業系統同 KV cache。context 開得愈長，KV cache 食得愈多，所以「個模型檔放得入 RAM」只係第一關。16GB unified memory 或 RAM 通常鬆動過 8GB，但實際速度仍然睇 CPU、GPU、記憶體頻寬同推理 backend，冇一個 RAM 數字包跑得順。

Coding 快咗，交答案未必同步快

細模型每個 token 通常計得快過大模型，對 IDE 補碼、解釋 function、寫細段測試尤其實際。不過 student 只會學到訓練資料入面出現過嘅做法。student 容量亦有上限；遇到跨檔案依賴、長 context、陌生 library 或複雜除錯，佢較易漏條件。推理型 student 仲可能輸出一大段思考內容，tokens per second 靚咗，等完整答案嘅時間照樣可以好長。揀 coding model 要用自己個 repo 測正確率、修改幅度同完成時間，淨睇參數量會睇漏好多嘢。

私隱優勢要靠整條流程守住

模型同推理程式完整留喺 laptop，程式碼、合約同內部文件就可以唔經第三方 server。LM Studio 官方文件亦寫明，下載模型後可全離線運作，本機對話同文件處理唔會離開裝置。公司用起上嚟仍要檢查網上搜尋、cloud fallback、extension、遙測同備份設定，否則本機模型守住咗 prompt，旁邊工具照樣可能傳資料出去。蒸餾個名只交代模型點訓練，實際質素同私隱仍然要逐個模型、逐套工具驗清楚。

參考來源

• XDA Developers — What 'distilling' an AI model actually means and why it matters to self-hosting open LLMs — original report
• Distilling the Knowledge in a Neural Network — Hinton、Vinyals 同 Dean 嘅經典論文，交代 teacher logits 同 student 訓練概念。
• Gemma explained: What’s new in Gemma 2 — Google 官方解釋 Gemma 2 點用 27B teacher 蒸餾 2B 同 9B 模型。
• DeepSeek-R1 — DeepSeek 官方 repo 列出 R1-Distill 底模、尺寸同訓練資料來源。
• Transformers Quantization Overview — 官方技術文件解釋量化點樣用較低精度權重減少記憶體同運算開支。
• LM Studio Offline Operation — LM Studio 官方文件交代本機模型、文件處理同離線運作時嘅資料流向。

本文根據原文及公開資料整理；資料有出入時，以原文及官方資料為準。