TAG
#AI 推理
4 篇文章
TechLab 所有關於「AI 推理」嘅文章、評測同教學，由最新排起。
Tech News中國 AI 晶片規格追近仍難換走輝達，卡位喺軟件兼容同叢集穩定
中國 AI 公司想將更多推理工作搬去國產晶片，不過換硬件牽涉框架兼容、自訂算子、除錯工具同叢集穩定。部分工作可以順利搬走，高價值服務就傾向繼續用輝達，背後考慮係遷移成本同服務風險。
2 天前
Tech NewsKog 單一 kernel 推到 3,000 tokens/s：coding agent 點解最食延遲
Kog 話自家推理引擎可喺 8 張 MI300X 上跑到每秒 3,000 個輸出 token。個數字夠搶眼，不過真正值得睇嘅係佢點樣壓低單一請求延遲，同埋呢套方法搬去大型第三方模型時會遇到咩限制。
8 天前
Tech NewsZML/LLMD 免費出招：自架 AI 模型想平啲，先要甩開 GPU 鎖定
法國 AI startup ZML 推出免費 LLMD，想用同一個 inference server 跑 NVIDIA、AMD、TPU、Intel 同 Apple Metal。對用開自架 LLM 嘅 team，吸引位係減少 CUDA 綁定；但性能同收費都未清楚，暫時只啱測試。
2 個月前
Tech NewsGroq 傳再籌 6.5 億美元：AI 推理雲端開始打成本戰
Groq 傳向現有投資者籌集最多 6.5 億美元，重心由 AI 晶片轉向 inference cloud。呢件事對香港 startup、SME 同開發者嘅真正意思，不是又一單矽谷融資，而係 AI agent、客服 bot、文件處理同粵語 workflow 嘅 API 成本、速度同供應商穩定性可能開始重新洗牌。
3 個月前