Nemotron 3.5 Lightning 用細模型加路由，幫 AI agent 慳推理費
Switchyard 自動分派任務，複雜推理先交畀大模型
AI agent 嘅高頻工作，最容易推高成本
iThome 報道將 Nemotron 3.5 Lightning 同 NeMo Switchyard 放埋一齊，背後其實係一套幾實際嘅 agent 分工方法。大模型負責拆題、規劃同處理棘手例外；工具呼叫、核對輸出、整理格式同分派子 agent 呢類高頻工作，就交畀細模型。長時間運行嘅 agent 每完成一件事，可能要來回呼叫模型幾十次，每一步都用最貴模型，延遲同 token 費自然一路疊上去。
圖片：NVIDIA
Lightning 有 300 億參數，每次只郁 30 億
Nemotron 3.5 Lightning 採用 MoE 架構，總共有 300 億參數，不過每次推理只啟用約 30 億。官方模型卡顯示，佢混合 Mamba-2、MoE 同 attention 層，亦加入多 token 預測同推測式解碼，重點係加快輸出，應付長時間運行嘅任務。NVIDIA 聲稱輸出可快至同級開放模型 4 倍，agent 任務完成時間快約 30%；呢啲都係官方測試數據，TechLab 未有獨立驗證。
官方而家提供 BF16、NVFP4 同配合推測式解碼嘅 checkpoint。模型卡列出單 GPU 部署方案，包括一部 DGX Spark 或一張 H100，亦支援 RTX 5090 等 NVIDIA 硬件。不過呢個門檻仍然同「普通電腦裝完即用」有一段距離，尤其開到較長 context 時，RAM、GPU 記憶體同推理軟件設定都要計清楚。想避開自建硬件，亦可以經 NVIDIA NIM 或其他託管端點使用。
圖片：NVIDIA
模型係 open-weight，Switchyard 就真係開源軟件
NVIDIA 將 Lightning 稱為 open model，模型權重毋須申請就下載到，亦容許商業使用同再訓練。不過 Hugging Face 標示嘅授權係自訂 OpenMDW 1.1，唔係 Apache、MIT 呢類常見開源軟件牌照；官方亦只話會公開授權容許披露嘅訓練資料。準確啲講，Lightning 係可下載同修改嘅 open-weight 模型。 Switchyard 就用 Apache 2.0 發布，兩者嘅開放程度要分開睇。
仲有一點容易忽略：官方列明支援英文、西班牙文、法文、德文、意大利文同日文，名單入面冇中文。用佢處理英文 code、JSON 同工具輸出問題較細；客服對話、粵語分類或者中文文件摘要，就應該先用自己資料做評估，唔好直接套用英文 benchmark 當保證。
Switchyard 接住 OpenAI 同 Anthropic 介面
Switchyard 係用 Rust 寫嘅 proxy 同 library，server 可接收 OpenAI Chat Completions、OpenAI Responses 同 Anthropic Messages 格式，再將請求轉去 vLLM、NVIDIA NIM、Ollama，或者其他 OpenAI-compatible 端點。即係原本跟 OpenAI 或 Anthropic 介面寫好嘅 agent，可以保留大部分接駁方式，再喺中間加入模型選擇、fallback、token 用量、延遲同錯誤監察。
安裝門檻要睇玩法。想直接帶住 Claude Code、Codex CLI 或 OpenClaw 跑，官方 launcher 要 Python 3.12 同 uv；想獨立開 proxy server，就要裝 Rust，再用 Cargo 編譯 server，同埋用 TOML 設定模型端點同路由規則。佢唔係裝一個 app 撳幾下就完成，但熟 Docker、API gateway 同模型 server 嘅團隊，應該唔難砌出測試環境。
路由點揀模型，會直接影響慳幾多
Switchyard 暫時有幾種主要做法。LLM classifier 會先用模型判斷任務類型；stage router 會睇 agent 最近有冇不停撞錯、重複兜圈或者仲喺探索，決定幾時轉用能力較高嘅模型；escalation router 先畀平價模型落手，搞唔掂再升級；random routing 就適合 A/B test。以 coding agent 為例，讀陌生 codebase、規劃改動同救測試錯誤可以用大模型，改固定格式、寫已經定好嘅 boilerplate 同重跑檢查就交畀細模型。
不過，呢套分工亦會帶來額外成本。分類器本身可能多一次模型呼叫；路由判斷錯咗，細模型兜幾轉先升級，慳到嘅時間可以一次過蝕返。NVIDIA 文件建議按自己任務校準 confidence threshold，亦有記錄每次選擇原因、延遲同 token 用量。真正有用嘅比較方法，係拎同一批真實任務分別跑全大模型、全細模型同混合路由，再睇完成率、總時間同每件任務成本。
官方數字吸引，但慳錢同準確率要一齊睇
NVIDIA 內部結果話，相對全部請求交畀 Opus 4.8，Switchyard 可保留相近準確率，同時把完成任務成本壓到接近三分一。合作夥伴數據亦見到取捨：Ramp 報稱成本低 58%、運行時間短 33%；LangChain 就只把 7% 呼叫交畀前沿模型，成本少 74%，代價係準確率跌約 6 個百分點。以上全屬 NVIDIA 或合作夥伴測試，模型組合、題目同 API 價格一轉，結果亦會跟住變。
Switchyard 官方 README 明寫佢仲係 pre-alpha 實驗軟件，未建議用喺 production，API 同演算法去到 1.0 前都可能大改。現階段最啱用嚟做受控試驗：先揀低風險、高重複嘅 agent 任務，訂好失敗後升級大模型嘅規則，再量度實際節省。模型路由方向合理，但團隊要有一套可靠評估數據，先知道細模型究竟可以接走幾多工作。
參考來源
- iThome — Nvidia開源Nemotron 3.5 Lightning及模型路由工具Switchyard — original report
- NVIDIA：Nemotron 3.5 Lightning 技術介紹 — 核對模型架構、定位、推測式解碼同官方效能聲稱。
- NVIDIA Nemotron 3.5 Lightning 模型卡 — 核對參數、硬件支援、語言、部署方法、benchmark 同 OpenMDW 1.1 授權。
- NVIDIA NeMo Switchyard GitHub — 核對安裝方式、API 格式、後端支援、路由種類、Apache 2.0 授權同 pre-alpha 警告。
- NVIDIA：NeMo Switchyard 路由技術介紹 — 解釋各種路由邏輯，亦提供 LangChain、Cognition 等測試背景。
- OpenMDW 1.1 授權全文 — 核對 Lightning 模型材料嘅使用、修改、發布同輸出條款。
本文根據原文及公開資料整理；資料有出入時，以原文及官方資料為準。
