TAG

#LLM 部署

1 篇文章

TechLab 所有關於「LLM 部署」嘅文章、評測同教學，由最新排起。

ZML 推出 LLMD alpha，官方話同一套推論 server 可跑 NVIDIA、AMD、TPU、Intel 同 Apple Metal。賣點係幫企業試唔同 AI 晶片，減少 CUDA 綁定；但 LLMD 暫時未開源，效能數字亦主要嚟自官方。