Groq 傳再籌 6.5 億美元：AI 推理雲端開始打成本戰

圖：TechCrunch．原文連結

Groq 呢單新聞表面係一宗融資傳聞，實際上係 AI 應用成本轉向嘅縮影。當大模型由「訓練邊個最大」慢慢走到「每次回覆要幾快、幾平、幾穩」，inference 供應商就變得比以往重要。AI coding agent 每改一次 code、客服 bot 每答一個客、文件系統每抽一份合約重點，都要不斷呼叫模型；速度慢會拖低工作流，價錢唔清楚就會令產品毛利失控。對香港 startup、SME 同公司 IT team 來講，Groq 值得睇，唔係因為又有一間美國 AI 公司籌錢，而係推理 API 市場如果真係多咗競爭，開發者有機會用更細成本跑更多 AI 功能。

TechCrunch 5 月 29 日轉述 Axios 報道，Groq 正尋求向現有投資者籌集最多 6.5 億美元，用嚟推動由晶片公司轉向 AI inference neocloud 嘅新方向。Axios 報道指，Groq 早前同 Nvidia 達成一宗傳出約 200 億美元嘅授權交易後，部分高層離開加入 Nvidia，而現有投資者已透過該交易獲得現金回報；今次再被要求按比例支持「Groq 2.0」，Disruptive 同 Infinitum 據報會為輪次兜底。要留意，呢筆 6.5 億美元融資暫時屬消息人士報道，Groq 未見有正式公告；Reuters 轉載報道亦以「消息人士」口徑講同一個最高 6.5 億美元數字，所以文章應視之為 reported financing，而唔係已完成融資。

Nvidia 交易唔等於 Groq 消失

更容易混淆嘅位係 Nvidia 嗰宗交易。Groq 官方 2025 年 12 月公告講得好清楚：雙方達成非獨家 inference technology licensing agreement，Groq 創辦人 Jonathan Ross、總裁 Sunny Madra 同部分團隊成員會加入 Nvidia，GroqCloud 會繼續營運，Groq 亦會繼續作為獨立公司存在。Reuters 當時亦寫到，Groq 同 Nvidia 無披露財務條款，200 億美元係 CNBC 報道嘅金額；市場上亦有轉載或摘要出現過 170 億美元口徑。換句話講，官方確認嘅係「授權技術加挖走人才」，唔係完整收購；金額就要用「reported」處理，唔應該當成 Groq 或 Nvidia 公布嘅成交價。

呢個結構對 Groq 之後點走好關鍵。晶片 startup 最難唔係 demo 跑得快，而係量產、供應、部署、企業銷售同長期資本開支。Groq 原本主打自家 LPU，用專門為推理而設嘅架構去跑模型；2024 年官方曾公布完成 6.4 億美元 D 輪，估值 28 億美元，當時已經係「快推理」故事嘅代表。到 Nvidia 授權走核心技術同吸納高層後，餘下 GroqCloud 要證明自己唔只係一個晶片故事嘅尾聲，而係一個可以持續賣 API、賣企業服務、賣穩定吞吐量嘅 inference cloud。

推理雲端點解突然值錢

AI 訓練係一次性大投資，推理就係長期營運成本。每個 app 上線之後，真正不停燒錢嘅位係用戶每次輸入、模型每次生成、agent 每次拆任務同工具呼叫。傳統雲端巨頭可以賣 GPU、賣自家模型 API、賣整套平台；Groq 呢類 neocloud 就集中喺模型執行速度同每 token 成本，想用較簡單嘅 API 介面吸引用家。對開發者而言，分別唔係「邊粒晶片勁」，而係同一個客服、同一個 RAG 搜尋、同一個 code assistant，在可接受品質下可唔可以更快、更平、更容易估算成本。

Groq 官方定價頁顯示，部分 production models 以每 100 萬 tokens 計價，例如 Llama 3.1 8B Instant、Llama 3.3 70B Versatile、OpenAI GPT-OSS 20B / 120B、Qwen3 32B 等；官方亦列明定價以美元計，未見港元價錢。呢類數字唔應該單獨攞嚟當結論，因為實際 bill 取決於 prompt 長度、輸出長度、重試、cache 命中、工具使用同 rate limit。尤其 agent workflow 會一個任務拆成十幾次甚至更多模型呼叫，單次 token 平幾毫子未必顯眼，但每日幾萬次呼叫就會變成產品毛利同體驗嘅分界線。

Coding agent 同客服 bot 先最有感

Groq 近年亦唔只係放一個通用聊天 API 出嚟。官方文件列出 OpenAI-compatible endpoint、model catalog、rate limits、Cline、OpenCode、Roo Code 等 coding agent 整合，亦有 Compound 系統，將模型同網上搜尋、瀏覽網站、code execution、browser automation 等工具綁埋。呢個方向好符合市場需要：開發者唔想每次自己砌工具調度、錯誤處理同多輪 API 呼叫；如果供應商可以用一個 endpoint 處理部分 agentic workflow，產品團隊就可以更快 prototype。不過越高層嘅 abstraction 亦代表越要睇清楚收費、工具可觀察性、資料處理同 fallback 設計。

香港公司最容易落地嘅場景，反而未必係「全公司改用某個 AI 平台」，而係把特定高頻、低敏感度、對速度敏感嘅功能放去試。例子包括內部 coding assistant、客服草稿、產品資料整理、英文技術文件撮要、繁中 / 英文混合嘅知識庫搜尋，或者將粵語口語稿轉成較正式嘅支援回覆。粵語 workflow 要特別小心：Groq 支援嘅模型名單唔等於每個模型都識處理香港用語、繁體字、英中夾雜同本地產品語境。開發者應該用自己嘅真實 ticket、WhatsApp 對話風格、產品 FAQ 同合約段落做測試，而唔係只睇英文 benchmark 或官方速度數字。

競爭愈多，供應商風險亦愈多

推理市場嘅競爭唔會只有 Groq。Reuters 早前提到 Nvidia 雖然主導訓練市場，但推理場景有 AMD、Cerebras、Groq 等對手，因為推理工作負載比訓練更碎片化，亦更容易按模型大小、延遲、成本同部署地區分層。再加上 AWS、Google Cloud、Azure、Cloudflare、Together、Fireworks、OpenRouter 等不同層級嘅供應商，開發者面前其實係一個愈來愈雜嘅 API 市場。Groq 如果靠今次融資擴容量、拉高可靠性同企業支援，會增加市場壓力；但如果產品路線因 Nvidia 交易後重組而變得不清楚，快就未必足夠。

所以真正要問嘅唔係「Groq 係咪打低 Nvidia」，而係「你嘅 app 可唔可以承受單一 inference 供應商出問題」。OpenAI-compatible API 係好事，因為可以減少遷移成本；但實際上，每個模型嘅 prompt 行為、tool call 格式、rate limit、錯誤碼、內容安全策略同延遲曲線都唔同。公司如果要長期用 AI agent 處理生意流程，最好一開始就做模型 router、供應商 fallback、成本追蹤同回覆品質測試集，而唔係等到某個 API 加價、限流或改模型先補救。

香港角度：可用性同延遲仍要查證

直接香港發布暫時好弱：未見 Groq 公開香港本地 region、香港定價、港元收費、香港客戶案例或本地部署安排。官方資料頁寫明，所有被保留嘅 customer data 位於美國 GCP bucket；同頁亦指推理請求預設不保留 customer data，但某些功能、故障排查、濫用調查或 batch / fine-tuning 類功能可能涉及保留，並提供 Zero Data Retention 設定。Compound 文件亦寫到該系統目前不適用於 regional / sovereign endpoints。對香港處理個人資料、醫療、金融、法律文件或客戶支援紀錄嘅團隊，呢啲位比「每秒幾多 token」更實際：資料會唔會離開香港、點簽 DPA、點遮走身份資料、點做審計，都要先過內部合規同客戶要求。

香港可用性、區域延遲、信用卡 / 發票安排、企業合約、稅務同港元等值價錢仍然係 [待確認]。實務上，本地團隊應該用香港辦公室或主要雲端 region 實測 p50 / p95 latency，同時記錄 queue time、錯誤率、429 rate limit、長 prompt 下嘅輸出穩定性。若產品要面向香港用家即時互動，例如客服 live chat 或語音轉文字後即時回覆，跨太平洋延遲可能比模型本身 token speed 更影響體驗；若係夜間批量文件處理，成本、rate limit 同資料政策可能比即時延遲重要。

開發者而家可以點睇

• 先做 workload 分層：coding agent、客服草稿、文件摘要、搜尋增強回覆嘅延遲同準確度要求唔同，唔好用同一個模型處理所有任務。
• 用真實粵語資料測試：香港用語、繁體字、英中夾雜、產品名同本地政策語境，都要放入測試集；快而唔啱 tone，客服同內容 workflow 一樣會出事。
• 追蹤全鏈成本：token 價錢只係一部分，tool calls、重試、cache、長 context、batch、rate limit 升級同工程維護都要計入。
• 保留退出路線：用 OpenAI-compatible API 係起點，但仍要抽象化模型設定、prompt 版本、供應商錯誤處理同 fallback，避免被單一平台綁死。

Groq 傳再籌 6.5 億美元，最大意思未必係又一個 AI startup 估值故事，而係 inference 供應商競爭正式由晶片規格走到開發者帳單、延遲同可靠性。若 GroqCloud 能夠在高頻推理、coding agent 同工具型 AI 上提供穩定容量，香港團隊會多一個可比較嘅 API 選項；若重組後產品路線、區域部署或模型支援未夠清晰，它就更適合作為特定工作流嘅快線，而唔係整個 AI stack 嘅唯一底座。現階段最務實嘅做法係小規模試、嚴格量度、唔好將融資傳聞當成產品保證。

參考來源

• TechCrunch — After Nvidia’s $20B not-aqui-hire, AI chip startup Groq reportedly raising $650M — original report
• Scoop: Groq raising $650 million for its second act — 主要消息來源；提供現有投資者、Disruptive / Infinitum 兜底、Groq 2.0 管理層等細節。
• Groq and Nvidia Enter Non-Exclusive Inference Technology Licensing Agreement — Groq 官方公告；確認 Nvidia 交易屬非獨家授權、部分團隊加入 Nvidia、GroqCloud 繼續營運。
• Nvidia, joining Big Tech deal spree, to license Groq technology, hire executives — Reuters 轉載；交叉核對 Nvidia 授權交易、未披露財務條款、推理市場競爭脈絡。
• Groq levanta até US$650 mi de investidores atuais, diz fonte — Reuters 轉載搜尋結果；同樣以消息人士口徑指 Groq 向現有投資者籌最多 6.5 億美元。
• Groq On-Demand Pricing for Tokens-as-a-Service — Groq 官方定價頁；核對美元 token pricing、工具收費、語音模型同 prompt caching 等成本資料。
• Supported Models - GroqDocs — Groq 官方模型文件；核對支援模型、production / preview 分類、rate limit 同 context window 資料。
• Your Data in GroqCloud — Groq 官方資料處理文件；核對 customer data 保留政策、Zero Data Retention 同美國 GCP 資料位置。

本文根據原文及公開資料整理；資料有出入時，以原文及官方資料為準。