AI 推論最佳化成企業削減 GPU 成本的新戰場
Nvidia 參與印度 AI 推論軟件公司 Simplismart 的 1,400 萬美元 B 輪融資。該公司主張以軟件調整模型部署及管理方式，讓企業可在既有 GPU 基建上，按應用需要平衡回應速度、處理量和運算消耗；在部分工作負載下，或可減少所需 GPU 數目。
這對正在把生成式 AI 由試驗帶入日常產品的企業較有直接意義：GPU 採購只是成本的一部分，模型在 production 長期運行時，如何同時守住服務水平協議（SLA）和總擁有成本（TCO），往往更難處理。不過，Simplismart 所披露的節省成效及營收增長均屬公司說法，未見獨立測試；實際節省幅度亦會受模型、流量模式及既有基建影響。
企業買的不是單一「最快」設定
Simplismart 的定位，是置於 AI 模型與其運行運算基建之間的軟件層。公司表示，系統會自動處理不少模型部署設定，並可配合客戶要求調整延遲、請求處理量及運算資源用量；客戶可透過其平台，或在既有雲端及本地基建內運行模型。產品亦包括模型微調、自動按需求擴縮資源及效能監察工具。
這反映推論最佳化的實務取向：不同應用並沒有通用的最低成本設定。即時互動功能可能較重視回應時間；大量背景處理則可能更看重每項工作成本和整體吞吐量。若企業只以「最快」或「最便宜」作選擇，未必符合實際產品要求。分析而言，這類工具的價值在於把取捨變成可持續調整的營運工作，而非每次流量或模型改動後再由工程團隊手動配置。
Simplismart 表示，影片生成平台 InVideo 採用其軟件後，GPU serving 成本下降 56%；公司亦列出 HeyGen、Higgsfield、Ema 及印度雲端供應商 Yotta 為客戶或合作方。當中 56% 為公司提供的個案數字，不能直接推及其他企業。
Nvidia 投資的矛盾與合理性
Nvidia 是 AI 晶片主要供應商，卻投資聲稱可讓客戶以較少 GPU 運行部分工作負載的公司，表面上存在張力。Simplismart 行政總裁 Jain 的說法是，若推論更有效率，AI 應用可在可負擔成本下擴大，長遠反而可能提升硬件吸引力及使用量。
這是否成立仍要視乎需求擴張能否抵銷單位工作負載的 GPU 用量下降。不過，對企業而言，焦點較可能是把昂貴 GPU 資源用得更盡，而非單純減少硬件數量。Nvidia 同時正與 Simplismart 進行技術整合，包括其 Dynamo 推論軟件，並協助引介潛在客戶及合作夥伴；這亦顯示晶片商正嘗試把硬件、推論軟件和客戶部署流程連結得更緊。
成效能否複製仍待驗證
市場競爭並不輕鬆。Simplismart 要面對 Nvidia 自家的方案，以及 AWS、Google Cloud、Microsoft Azure 等雲端平台的相關服務。其差異化主張是針對 SLA 要求嚴格、成本限制較緊的場景，為客戶作較細緻的配置平衡。
公司稱其年化收入 run rate 在過去六個月增長 14 倍至八位數美元，但此數字按近期客戶用量計算，並非已簽約的經常性收入，也不包括轉交基建供應商的收入，未有公開確切金額。新資金將用於擴展美國市場、招聘及繼續開發推論軟件。
下一步值得觀察的，是此類推論最佳化工具能否在更多不同模型和負載下，交出可重複驗證的成本與效能數據；對有大量 GPU 推論工作負載的企業，這會比單次融資規模更具參考價值。
延伸閱讀
AI 輔助說明： 本文由 AI 協助整理，並經兩輪獨立自動品質審核；資料及連結仍以原始來源為準。
參考來源
- TechCrunch — Nvidia backs Indian startup helping companies run AI models with fewer GPUs — original report
本文根據原文及公開資料整理；資料有出入時，以原文及官方資料為準。
