TAG

#AI 推論

2 篇文章

TechLab 所有關於「AI 推論」嘅文章、評測同教學，由最新排起。

SK hynix 美東 7 月 10 日喺 Nasdaq 以 ADR 掛牌，市場又放大 HBM 呢條線。對開發者同 AI 團隊嚟講，真正要睇係 ChatGPT、agent 每出一粒 token 點樣食 HBM 頻寬，未來 AI API 同雲端 GPU 成本會跟住變。

ZML 推出 LLMD alpha，官方話同一套推論 server 可跑 NVIDIA、AMD、TPU、Intel 同 Apple Metal。賣點係幫企業試唔同 AI 晶片，減少 CUDA 綁定；但 LLMD 暫時未開源，效能數字亦主要嚟自官方。