參數愈大未必愈好：公司揀 AI 模型要睇成本、延遲同私隱

巨型模型迷信開始鬆動

TechNews 科技新報 報道話，AI 行業過去幾年一路用 GPU、數據中心同參數規模鬥大，近排開始多咗反思：模型大，未必代表企業用起上嚟最啱。呢個講法唔算新，但而家有多啲數字撐住；Stanford HAI 2026 AI Index 一邊記錄頂級模型喺數學同 coding benchmark 大幅進步，一邊提醒大家，模型能力其實好參差，某啲難題識做，簡單場景都可以甩轆。

AI Index 最好玩嗰個例子係 Gemini Deep Think 可以攞到 IMO 金牌級成績，但報告話頂級模型睇指針鐘面嘅正確率得 50.1%；OSWorld agent 任務成功率亦由 12% 升到約 66%，但仲有差唔多三分一會失手。呢啲數字嘅意思好直接：榜單高分同公司日常穩定性之間仲有距離。做客服、審文件、內部知識庫，最怕模型喺普通問題上亂估，仲要講到好肯定。

圖片：Ai2

OLMo 3 值得睇，因為佢開得夠透

Ai2 嘅 OLMo 3 就係另一個好實際嘅訊號。官方同 arXiv 論文話，OLMo 3 係 7B 同 32B 參數模型族，主打 long-context reasoning、function calling、coding 同 instruction following；佢哋交出 weights、code、checkpoint、訓練資料同每個階段嘅 model flow。呢點對研究機構當然重要，對公司 IT 都有用，因為你終於有機會追返模型點樣由資料變成行為，唔使淨係拎一個黑盒返嚟估。

Ai2 官方又話，對住 Qwen 3 32B 呢類近規模開放權重對手，OLMo 3-Think 32B 收窄咗差距，用嘅訓練 token 大約得六分一；2025 年 12 月更新嘅 OLMo 3.1 32B Think，再用 224 張 GPU 跑多 21 日 RL，AIME、ZebraLogic、IFEval 同 IFBench 都有進步。呢啲全部係 Ai2 自家評測，唔等於你搬入公司就一定準，但佢至少證明細過 frontier model 嘅模型，都可以靠資料篩選、post-training 同推理策略追回一段距離。

圖片：Ai2

對香港公司，重點係錢同控制權

香港 SME、startup 同細 IT team 最常見嘅 AI project，通常係客服 FAQ、合約/報價單摘要、內部知識庫、RAG 文件搜尋、coding agent 或幫營運 team 處理重複文字。呢啲任務好多都唔使日日叫最貴、最大模型出手；反而 token 成本、回應延遲、資料可唔可以離開公司、供應商會點處理 log、出事時點 audit，先會直接影響你可唔可以長期用落去。

大模型仍然有價值，尤其係開放式研究、複雜多輪推理、多模態或者未定型產品。問題係，企業好多 use case 其實好窄：只答公司政策、只睇自己產品文檔、只改固定 repo 入面嘅 code。範圍一收窄，細模型、開放模型或者私有部署就有機會贏，因為你可以用自己資料微調、加 guardrail、用 RAG 補知識，又可以揀雲端 API、自管 GPU server 或量化版，按風險同成本分層處理。

圖片：Ai2

揀模型前，先問五條問題

實際揀模型，team 應該先用自己資料做一個細 benchmark，唔好淨係睇 LMSYS 或者大廠 slide。第一，任務係分類、摘要、搜尋、寫 code，定係長推理？第二，資料有冇客戶個人資料、合約價、醫療或財務內容？第三，每月 token 量同峰值延遲係幾多？第四，你有咩硬件，容唔容許自管 server、租 GPU 或用供應商 API？第五，錯一次成本幾高，有冇人手覆核位？

如果答案係大量重複文件、私隱壓力高、延遲要穩、成本要封頂，開放或細模型好值得試。反過嚟，如果你要處理好雜嘅任務、要最強多語言能力、要最新模型能力同多模態，頂級雲端模型仍然係最快上手。最實際嘅做法係混用：敏感資料留喺私有管道，公開資料同低風險創作先交畀外部 API，兩邊都保留 log、評分同回滾機制。

榜單可以睇，但唔好當採購表

OLMo 3 最有參考價值嘅地方，係佢將資料治理、訓練配方同部署策略擺返上枱，唔再淨係講參數。對公司嚟講，買 AI 服務已經似買 server 同 database，多過似買一個神奇 app；你要識計負載、權限、資料保留、故障處理同總成本。下一步要睇兩件事：32B 呢個級數可以追到幾遠，開放模型生態又可唔可以畀一般 IT team 管得住。

參考來源

• TechNews 科技新報 — AI 產業最大的誤判：模型不一定越大越強 — original report
• The 2026 AI Index Report — Stanford HAI 一手頁面，核對 IMO、讀鐘、OSWorld 同數據中心等背景數字。
• Olmo 3: Charting a path through the model flow to lead open-source AI — Ai2 官方發布文，核對 OLMo 3/3.1、32B、6x token、224 GPU 同 benchmark 進步。
• Olmo 3 — arXiv 論文頁，核對 OLMo 3 係 7B/32B 全開放模型族同 model flow。
• allenai/Olmo-3.1-32B-Think — Hugging Face 模型卡，核對 license、部署選項、量化同評測表。

本文根據原文及公開資料整理；資料有出入時，以原文及官方資料為準。