TAG

#推理成本

4 篇文章

TechLab 所有關於「推理成本」嘅文章、評測同教學，由最新排起。

NVIDIA 推出 Nemotron 3.5 Lightning，同時開放模型路由工具 Switchyard。兩者瞄準同一個問題：AI agent 冇必要每一步都用最貴大模型。不過 Switchyard 仲係 pre-alpha，模型亦應準確稱為 open-weight，現階段較適合試驗同校準。

Databricks 前 AI 主管 Naveen Rao 嘅新公司 Unconventional AI 發布 Un-0，用振盪器架構模擬圖像生成。1,000 倍慳電暫時係目標多過產品數據，但佢點講 AI 成本值得睇。

Etched 話已攞到超過 $1B 客戶合約，又完成 $500M 融資，估值去到 $5B。呢單值得睇嘅位，係 AI SaaS 同 coding agent 背後嗰筆推理帳單開始壓到所有人。

Reuters 話 DeepSeek 做咗約一年自研 AI 推理 chip，未有官方確認。重點落喺推理成本同供應穩定：模型愈多人用，GPU 買唔買到、服務會唔會塞車，會直接影響開發者同企業用得爽唔爽。