Thinking Machines 首個模型 Inkling:975B 開放權重,主攻微調同企業部署
Tech News

Thinking Machines 首個模型 Inkling:975B 開放權重,主攻微調同企業部署

圖片:via TechCrunch — https://techcrunch.com/2026/07/15/thinking-machines-amps-up-its-bet-against-one-size-fits-all-ai-with-its-first-open-model-inkling/
TechLab 編輯部(譯)·

推理量可以自行調校,Tinker 包辦訓練,但硬件門檻依然好高

Thinking Machines Lab 終於交出第一個公開模型 Inkling。呢間由前 OpenAI CTO Mira Murati 創辦、融資規模大得誇張嘅 AI 公司,過去一年半主要展示訓練基建同 Tinker 微調平台;Inkling 先係外界第一次可以直接檢查佢哋模型路線嘅成品。佢挑戰緊「租一個最強通用模型就夠」呢種做法,押注企業會想控制模型點諗、用自己資料調校,再揀自行部署定交畀供應商運行。

975B 聽落嚇人,每次實際郁 41B

Inkling 係原生多模態 MoE 模型,可以讀文字、圖像、影片同聲音,再輸出文字。官方披露佢有 975B 總參數、每個 token 啟用 41B,預訓練用咗 45 萬億個多模態 token,最長 context window 可去到 100 萬 token。MoE 每次只叫部分 expert 開工,計算量低過同級 dense 模型,但 975B 權重依然要擺入記憶體:單計 BF16 權重已經接近 2TB,NVFP4 都係數百 GB 級,仲未計 KV cache 同運行開銷。一般 developer 部 notebook、工作站甚至單張高階 GPU,都唔係 Inkling 嘅合理本機平台。

官方亦預告 12B active 嘅 Inkling-Small,權重會完成測試後再公開。對 startup、大專團隊同中小型企業嚟講,細版其實實際得多;大 Inkling 主要啱有多卡 server、雲端預算,或者直接用第三方 inference 服務嗰班人。開放權重畀用家控制同修改模型,但硬件、運維同延遲成本仍然要計。

Thinking Machines Lab 官方 Inkling 開放權重模型發布主圖

圖片:Thinking Machines Lab

可調推理量係 Inkling 較實用嘅賣點

Inkling 可以控制 thinking effort,同一個模型既可花多啲 token 處理難題,亦可關掉 chain-of-thought,快速回覆分類、抽取資料或者客服問題。呢種設計幾啱真實 workflow:寫程式、規劃 agent 任務可以畀多啲運算;大量簡單請求就慳返時間同錢。用家毋須為每種工作各自接駁一套模型,亦較容易按延遲同成本定規則。

官方以最高 effort 0.99 公布跑分,Inkling 喺 SWE-bench Verified 得 77.6%,高過 Kimi K2.5 嘅 76.8%,但低過 Kimi K2.6 嘅 80.2%;Humanity’s Last Exam 文字版得 29.7%,同樣落後 Kimi K2.6、GLM 5.2 同幾款閉源模型。呢組數字至少反映 Thinking Machines 自己都冇包裝佢做榜首。不過測試設定、agent harness 同推理預算都會大幅影響結果,而且發布首日未見完整第三方測試,暫時只可以當官方基準,未可以當實際勝負表。

Tinker 將微調變成一條完整服務鏈

Inkling 真正配套係 Tinker。developer 準備 supervised learning 資料或者 reinforcement learning environment 後,可以經 API 計 gradient、更新 LoRA adapter、抽樣同儲存 checkpoint,分散式 GPU 排程就由 Thinking Machines 處理。官方示範甚至叫 Inkling 自己寫訓練工作、製作合成資料、跑評估,再載入新權重;個示範幾搶眼,但公司實際賣緊嘅係一條由 base model、訓練到 inference 都接得埋嘅服務鏈。

呢套做法對冇 ML infra 團隊嘅 startup 幾吸引:唔使先砌 GPU cluster,都可以試 task-specific model。企業就要睇清楚另一面——用 Tinker 訓練時,資料仍然會交到供應商基建處理。官方話客戶資料只用作微調客戶自己嘅模型,checkpoint 亦可以下載;涉及個人資料、內部文件或者受監管紀錄時,公司仍要自行做資料分類、保存政策同供應商審查。真係要求資料完全唔離開自家環境,就要承擔 Inkling 自行部署嗰筆硬件帳。

「開放」去到邊,要講準確

Inkling 權重以 Apache 2.0 發布,可作商業整合同修改,亦支援 vLLM、SGLang、Hugging Face 等工具。呢點比只提供 API 嘅閉源模型自由好多。不過官方只概括訓練資料來自公開內容、第三方來源同合成資料,冇交出完整資料清單、預訓練程式碼同可重現訓練流程,所以準確講法係 開放權重模型。開放程度高,但未去到整個模型製作過程都可審計。

語言方面,model card 只明確以英文為主,再稱具備一般多語言能力;官方 benchmark 冇獨立列出粵語。要做粵語客服、文件搜尋或者語音流程,團隊應先用自己嘅繁體字、口語粵語、code-switching 同本地專有名詞資料測試,再決定值唔值得微調。對一般 developer,等 Inkling-Small 同第三方量化版本成熟會實際啲;有專屬資料、穩定工作量同部署能力嘅企業,先較適合用大 Inkling 配合 Tinker。


參考來源

本文根據原文及公開資料整理;資料有出入時,以原文及官方資料為準。

分享:WhatsAppThreadsTelegramFacebook