ZML/LLMD 免費出招：自架 AI 模型想平啲，先要甩開 GPU 鎖定

先講件事

法國 AI startup ZML 推出 ZML/LLMD，一個免費 LLM inference server，API 走 OpenAI-compatible 路線，官方話可跑 LLaMA、Gemma、Qwen、Mistral，硬件就覆蓋 NVIDIA CUDA、AMD ROCm、Google TPU、Intel oneAPI 同 Apple Metal。ZML/LLMD 唔只係多一個跑模型工具，佢主打用同一套 serving 入口，喺唔同 AI chip 上部署開源模型，少啲俾 CUDA 同某一間雲供應商綁住。

點解而家多人睇 inference

過去一年大模型話題好多時集中喺訓練，但真錢燒得最穩定嘅地方，其實係 inference：每次 app 叫模型覆 prompt、每次客服 bot 回答、每次內部 RAG 查資料，都係 token、VRAM 同延遲嘅賬。模型愈多人用，推理成本就愈似水電費。ZML 創辦人 Steeve Morin 對 TechCrunch 講，LLMD 想打破唔同 chip 之間嘅 silo，畀企業同雲端平台可以混用較平或者較慳電嘅硬件。

吸引位係少改 code

LLMD 放到 OpenAI-compatible API 入口，對 developer 意思好實際：你原本用 OpenAI SDK、LangChain、Vercel AI SDK 或者自家 client，理論上可以改 base URL 就試另一個模型 server。呢個方向唔新，vLLM、SGLang、Ollama 都做緊；分別係 vLLM 同 SGLang 走高吞吐、production serving 路線，Ollama 偏本機開發同試模型，ZML/LLMD 就想用自家 compiler/inference stack，用同一個 server 撐多款 accelerator。

對香港 team 實際有咩用

如果你係香港 startup 或公司 IT，平時只係 call 雲端模型 API，LLMD 暫時唔會令你每月帳單即跌；真正啱睇嘅係已經喺雲端 GPU、自建 server、私有化 RAG、客服同文件搜尋呢類 workload 上燒緊錢嘅 team。佢哋痛點通常係一開始寫死 CUDA、寫死某個供應商，之後想轉 AMD、TPU 或者 Mac mini 測試環境，都要重砌一堆 serving glue。

但唔好咁快搬 production

冷靜位都好明顯。Docker Hub 而家標 LLMD 做 alpha，仲話 work in progress；TechCrunch 亦寫明 LLMD 唔係開源，只係免費推出嚟睇用法，之後點收費未定。官方頁列出 continuous batching、paged attention、tensor parallel sharding、prefix caching、tool calling 同 Prometheus metrics，聽落似 production server 應有功能，但性能聲稱主要出自 ZML 同 Morin，暫時冇獨立 benchmark。要試可以，直接換走 vLLM 或 SGLang 就太急。

下一步睇咩

下一步要睇三件事：第一，LLMD 喺同一模型、同一 batch、同一長 context 下，對 vLLM/SGLang 有冇穩定數據；第二，跨 chip support 係咪真係易維運，尤其 ROCm、oneAPI、TPU 呢啲平時最易卡 driver 嘅地方；第三，ZML 之後商業模式會唔會令免費試用變成另一種鎖定。自架 AI 模型想平啲，唔只要計 GPU 價，仲要睇成套 serving stack 轉唔轉到硬件。

參考來源

• TechCrunch — Hot French startup ZML releases free product to speed inference across lots of AI chips — original report
• ZML/LLMD alpha — 核對支援模型、硬件平台、OpenAI-compatible API 同 serving 功能
• zmlai/llmd - Docker Image — 核對 alpha/work in progress、image size、平台 tag 同 quick start
• zml/zml GitHub README — 核對 ZML 底層 inference stack、Apache-2.0 開源 repo 同支援平台
• OpenAI-Compatible Server - vLLM — 比較現有 OpenAI-compatible serving 工具定位
• Welcome to SGLang — 比較 SGLang production serving、硬件支援同 OpenAI API
• OpenAI compatibility - Ollama Blog — 比較本機模型工具點樣支援 OpenAI API

本文根據原文及公開資料整理；資料有出入時，以原文及官方資料為準。