Cursor 為 Composer 改造 MoE 訓練：MoK 點樣拆走跨 GPU 樽頸

MoE 慳到運算，但跨 GPU 搬 token 又會帶來另一個樽頸

MoE 模型會先由 router 幫每個 token 揀少量專家，毋須次次叫齊成個模型開工，咁樣可以擴大模型容量，又唔使令每次運算量跟住直線上升。麻煩係啲專家分散喺唔同 GPU，token 要送出去，計完再送返原位。GPU 數目一多，傳送同等候時間足以追上真正運算時間。Cursor 官方話，視乎 workload 同訓練設定，Composer 嘅 MoE layer 可以食去端到端訓練時間一半以上。

圖片：Cursor

MoK 將運算同通訊塞入同一個核心

Mixture-of-Kittens（MoK）係一個針對 NVL72 嘅 MoE training megakernel。佢將 token 排程、跨 GPU 傳送、專家 FFN 運算同結果合併放入同一個 GPU kernel，再分配部分 SM 搬資料、另一部分 SM 做矩陣運算，兩邊交疊開工。MoK 會按操作揀 pull 或 push：派送時由收貨 GPU 主動讀資料，合併結果就由完成運算嗰邊送返出去，仲可以重用同一張 schedule，減少 GPU 互相報到同等候同步嘅時間。

MoE 每輪派去各專家嘅 token 數量都會變，預先開幾大 buffer 一向幾棘手。MoK 用固定容量嘅環形 token buffer，算完一批就循環重用嗰段空間，毋須 CPU 每輪睇完數量再分配記憶體，亦唔使為咗固定容量而丟棄 token。呢點喺 GB300 NVL72 特別關鍵：成個機櫃有 72 張 Blackwell Ultra GPU 經 NVLink 相連，GPU 跑得愈密，CPU 插手造成嘅空檔就愈顯眼。

圖片：Cursor

2.37 倍同 1.41 倍係兩份成績

iThome 報道嘅 41% 提升係訓練吞吐量。Cursor 喺 512 張 GPU、橫跨幾座 GB300 NVL72 機櫃嘅內部 production training stack，以 MoK 取代原有 DeepEP 方案後，每張 GPU 每秒處理量由 760.9 個 token 升至 1,070.2 個，即係 1.41 倍。另一個最高 2.37 倍數字，只屬單一 MoE layer 嘅 MXFP8 forward benchmark；backward 最高係 1.78 倍，兩者唔可以撈埋當成完整模型訓練速度。

單層 benchmark 程式碼已經公開，但 1.41 倍端到端結果用咗 Cursor 自家訓練系統，暫時未見第三方喺相同規模重現。MoK 仲要逐個 workload 調校 minibatch、buffer 容量同通訊 SM 數目，亦只列明支援 Blackwell SM100／SM103、CUDA 13 同較新版本 PyTorch。手上冇 GB200 或 GB300 NVL72 嘅團隊，基本上唔會下載完就即刻慳到四成訓練時間。

Composer 用家暫時感受唔到 41% 加速

訓練吞吐量高咗，直接效果係同一批 GPU 可以較快完成訓練，或者喺相同時間內跑多啲實驗。長遠可能縮短 Composer 模型迭代時間，亦有機會壓低每次訓練成本。不過官方冇證據顯示 Composer 推理快咗 41%，亦冇公布程式能力、回應延遲、用量限制或收費會即時改變。開住 Cursor 寫 code 嘅人，今次更新暫時唔會見到一個「加速 41%」掣。

開源價值集中喺有大型 Blackwell 基建嘅團隊

MoK 用 Apache 2.0 授權，對已經有 NVL72、又訓練 DeepSeek-V3 類 MoE 模型嘅研究團隊，價值幾實際：單層測試、forward／backward 實作同調校介面都有得直接研究，毋須由通訊原語重新砌起。至於規模細好多嘅團隊，最值得睇係佢點樣處理 pull／push 方向、計算通訊交疊同 CPU 同步，當成分散式訓練設計參考會合理過硬搬入現有系統。

今次亦反映 Cursor 已經由編輯器一路踩入模型同訓練基建。對用幾百甚至幾萬張 GPU 訓練模型嘅公司嚟講，利用率差少少，最終訓練成本都可以差好遠。MoK 有冇廣泛價值，下一步要睇第三方能否重現數字，同埋社群可唔可以將佢改到 NVL72 以外嘅硬件組合。

參考來源

• iThome — Cursor開源MoE訓練核心MoK，Composer模型訓練吞吐量提升41% — original report
• Mixture-of-Kittens: our open-source MoE megakernel for NVL72s — Cursor 官方技術解說，包含 megakernel 設計、測試方法、單層結果同端到端數字。
• Mixture-of-Kittens GitHub repository — 官方開源程式碼、硬件及軟件要求、調校參數、測試程式同 Apache 2.0 授權資料。
• NVIDIA GB300 NVL72 系統硬件與組件 — NVIDIA 官方文件，核對每座機櫃嘅 GPU、Grace CPU、NVLink 架構同硬件規模。

本文根據原文及公開資料整理；資料有出入時，以原文及官方資料為準。