傳 Nemotron 4 至少一萬億參數，輝達由賣 GPU 再攻模型層
系列早已獲官方確認，最大型號規格同推出時間仍未落實
TechNews 科技新報報道，The Information 引述多名參與項目嘅員工，話 NVIDIA 正開發 Nemotron 4 模型家族，最大型號可能有至少一萬億個參數。消息人士亦話訓練仲未完成，推出日期未定，順利嘅話最快秋末先準備好。一萬億參數同時間表全部未獲 NVIDIA 確認，Reuters 查詢公司時亦未收到回應，所以而家只可以當開發中規格睇，唔好當成最終產品表。
Nemotron 4 本身有官方紀錄
Nemotron 4 個名早已出現喺官方路線圖。NVIDIA 今年 3 月成立 Nemotron Coalition，成員包括 Mistral AI、Cursor、LangChain、Perplexity 同 Thinking Machines Lab 等公司。官方公告講明，首個項目係由 NVIDIA 同 Mistral AI 合作訓練基礎模型，其他成員會提供數據、評估方法同專門知識，模型會喺 DGX Cloud 訓練，之後成為 Nemotron 4 系列嘅底層基礎。系列會出呢件事有官方根據；一萬億參數、架構同推出時間就仍然係傳聞。
圖片：NVIDIA
一萬億參數未講到實際快唔快
參數數量夠搶眼，不過單睇總數判斷速度同成本，好容易估錯。上一代 Nemotron 3 Ultra 已經用 Mixture-of-Experts 架構，官方規格係 5,500 億總參數，每次運算啟用 550 億。假如 Nemotron 4 沿用類似設計，一萬億總參數唔代表每個 token 都要動用晒全部參數。問題係 NVIDIA 仲未公布架構、啟用參數量、精度、記憶體需求、context 長度同推理硬件，呢幾項全部係 [待確認]。未有呢批資料之前，講佢跑得幾快或者部署幾貴都只係估。
圖片：NVIDIA
「開源」要等交齊實物先判斷
NVIDIA 官方形容 Coalition 模型會開放畀社群，過往 Nemotron 3 Ultra 亦有預訓練、後訓練同量化 checkpoint，連部分數據同訓練 recipe 都有公開。現行 Nemotron Open Model License 容許商業用途、修改同再分發衍生版本，條款算寬鬆。不過呢啲安排唔可以自動套落 Nemotron 4。權重、完整數據清單、訓練程式、model card 同最終授權仍未公布；官方叫佢做 open model，暫時未足以證明每一層都會完整開放。
開發者未必會直接跑最大型號
本地開發者唔使太著眼於由零開始訓練一萬億參數模型。就算權重真係有得下載，一般工作站亦未必負擔到，實際用法多數會落喺雲端 API、NIM 服務、DGX 級硬件，或者同系列較細、量化後嘅版本。對開發者嚟講，要睇嘅係模型可唔可以用公司內部數據微調、支援自建推理環境、減少依賴單一 API 供應商，仲有廣東話、工具調用同長流程 agent 表現穩唔穩。呢幾項而家同樣未有 Nemotron 4 數據，等正式 model card 同獨立測試先有得計數。
輝達想包辦模型到硬件成條路
NVIDIA 一向靠 GPU、CUDA 同網絡設備食住 AI 基建市場，而 Nemotron 就把佢推到模型層。公司官方亦講過，開發 Nemotron 累積到嘅低精度運算、稀疏架構同訓練經驗，會反過來影響下一代系統設計。模型免費開放都好，微調、量化同推理始終會消耗 GPU 資源；如果開發者順手採用 NeMo、NIM、DGX Cloud 同 NVIDIA 硬件，輝達已經贏到生態位置。呢套打法亦令佢可以直接回應 Qwen、DeepSeek 等開放模型帶來嘅壓力，競爭範圍由跑分擴到工具、部署同企業支援。
NVIDIA 同日推出嘅 Nemotron 3.5 Lightning 已經顯示方向：30B MoE 模型負責長時間運作嘅專門 agent 任務，再用 NeMo Switchyard 把請求分派畀合適模型。Nemotron 4 大型號可能負責更難嘅推理同統籌工作，但呢個分工仍要等官方資料確認。下一步主要睇最終啟用參數量、權重授權、公開數據範圍，同埋第三方喺實際硬件跑出嚟嘅速度及成本。
參考來源
- TechNews 科技新報 — 傳輝達開發 Nemotron 4，挑戰全球頂尖開源模型 — original report
- NVIDIA Launches Nemotron Coalition of Leading Global AI Labs to Advance Open Frontier Models — 官方確認 Nemotron 4 路線圖、Coalition 成員、Mistral AI 合作同 DGX Cloud 訓練安排
- NVIDIA Nemotron 3 Ultra — 核對上一代總參數、啟用參數、MoE 架構同公開 checkpoint、數據及 recipe 情況
- NVIDIA Nemotron Open Model License — 核對現行 Nemotron 授權對商業使用、修改同再分發嘅規定
- NVIDIA Nemotron 3.5 Lightning and NeMo Switchyard Deliver Faster, Smarter, More Efficient Agentic AI — 官方交代 Nemotron 3.5 Lightning 定位、30B MoE 規格同 NeMo Switchyard 路由用途
- Open Secret: How NVIDIA Nemotron Models, Datasets and Techniques Fuel AI Development — 了解 NVIDIA 點樣用 Nemotron 研究反饋硬件設計，同模型、數據及部署工具之間嘅策略關係
本文根據原文及公開資料整理；資料有出入時，以原文及官方資料為準。
