AI 成本唔止 GPU：CXL 記憶體可能點改 RAG 同 KV cache

圖：TechCrunch．原文連結

每次問 ChatGPT 或企業內部 chatbot 一條問題，成本未必只係「用咗幾多 GPU」。AI 推理入面有大量資料要喺 CPU、GPU、RAM 同儲存之間來回搬動；如果問題有長上下文、文件檢索、RAG 或多人同時使用，真正拖慢系統同推高雲端帳單嘅，往往係記憶體容量、頻寬同資料搬運，而唔係單純算力唔夠。

XCENA 今次據報完成 1.35 億美元 Series B，估值 5.7 億美元，表面係一間韓國晶片 startup 融資；但更值得留意嘅係佢賭嘅方向：AI 基建下一個瓶頸可能係「記憶體牆」。呢個角度對香港公司都唔係無關。即使本地未見公開客戶、港行供應或售價，做 customer service chatbot、內部知識庫搜尋、合規文件 RAG、又或者自建推理服務嘅 IT team，都會直接遇到同一堆成本同延遲問題。

今次融資賣嘅唔只係一粒晶片

TechCrunch 報道指，XCENA 由 Samsung、SK hynix 背景嘅人喺 2022 年創辦，產品 MX1 想透過 CXL 連接 CPU，同時將部分運算搬近 DRAM。公司嘅講法係：GPU 適合做大型矩陣運算，但 AI 推理外圍仍有大量工作由 CPU 同記憶體系統處理，例如 preprocessing、資料 cache、KV cache 管理同 vector database 查詢。MX1 想做嘅就係將呢類「圍住模型嘅資料工作」移近記憶體，減少資料喺不同晶片之間兜圈。

要小心嘅係，MX1 仍然唔係一件已大規模落地嘅產品。XCENA 2025 年新聞稿話 MX1 喺 FMS 展出，會向指定合作夥伴提供 working sample，並計劃 2026 年有 production-ready 版本；TechCrunch 最新報道再寫到量產晶片預計 2026 年底由 Samsung Foundry 生產，公司期望 2027 年開始有收入。換句話講，今次融資代表投資者買入方向同團隊，唔等於市場已經有可獨立驗證嘅大規模部署結果。

點解 GPU 之外仲有成本

大型語言模型推理通常分兩段：先處理輸入內容，再逐個 token 產生答案。輸出階段每生成一個字，都要讀取模型權重、注意力狀態同先前上下文；NVIDIA 嘅技術文章亦提到，decode 階段好多時係 memory-bound，即係延遲更多受資料搬運速度限制，而唔係 GPU 算得唔夠快。KV cache 就係為咗避免重複計算先前上下文而保留中間狀態，但 context 越長、batch 越大，KV cache 佔用嘅記憶體亦會急速上升。

RAG 令問題再複雜一層。企業 chatbot 唔只係將一句 prompt 丟入模型，通常會先喺 vector database 搵相關文件片段，再將片段塞入上下文。呢個流程會增加查詢、排序、資料搬運同更長 prompt 嘅推理成本。好多香港公司試 AI project 時，第一階段會覺得「API call 好平」，但一到內部文件多、權限多、查詢量多、要控 p95 latency，就會發現成本唔只係模型 token 價，仲包括向量索引、cache、RAM、GPU 利用率同工程維護。

CXL，即 Compute Express Link，正正係為呢類問題而變得重要。CXL Consortium 將佢形容為連接處理器、記憶體擴充同加速器嘅 cache-coherent interconnect，重點係令 CPU 記憶體空間同外接裝置記憶體保持一致，方便資源分享。簡單講，CXL 唔係另一種 GPU，而係一條更聰明嘅記憶體高速通道，令伺服器可以更彈性地擴 RAM、共享 RAM，甚至將一部分資料處理推近記憶體做。

MX1 想食嘅係「搬資料」成本

XCENA 對 MX1 嘅定位係 computational memory。公司新聞稿話 MX1 支援 PCIe 6.0 同 CXL 3.2，內置大量自家 RISC-V core，做 near-data processing，用於 vector database、資料分析、記憶體密集查詢同 AI inference acceleration。公司產品頁亦列出 CXL 記憶體擴充、PCIe Gen6 頻寬、FPGA prototype database acceleration 等資料。不過版本同數字來自公司材料，未見第三方獨立 benchmark，寫成「已證明全面慳幾多錢」會過火。

XCENA 最吸引人嘅說法係，部分以前要十部伺服器做嘅工作，理論上可以縮到一部。呢句應該清楚標示為公司聲稱，唔應該當成通用結論。原因好簡單：vector search、RAG、OLAP 查詢、KV cache 管理、資料壓縮，每個 workload 對 CPU、RAM、SSD、GPU 嘅壓力都唔同；就算 MX1 對某啲 memory-bound 任務有效，部署落現實資料中心仍要睇 driver、SDK、作業系統支援、雲端 instance 設計、供應鏈同故障處理。

呢條路唔係 XCENA 一間公司行緊

記憶體牆已經係成個 AI 基建市場嘅共識，所以 XCENA 唔係孤例。Astera Labs 嘅 Leo CXL Smart Memory Controller 主打 memory expansion 同 pooling，公開材料亦將 AI inferencing、chatbot services、in-memory database 列為用途。Marvell 嘅 Structera CXL 產品線就有 memory-expansion controller、near-memory accelerator 同 CXL switching，重點同樣係處理資料中心嘅記憶體容量、頻寬同功耗問題。

分別在於路線。Astera 同 Marvell 比較似資料中心連接同記憶體擴充平台，XCENA 就將敘事放喺「記憶體入面放好多細 core，直接處理資料」。TechCrunch 引述 XCENA CEO 指公司有「thousands of cores」，而 Marvell 公開規格中 Structera A 係以 Arm Neoverse core 做 near-memory acceleration。呢個差異值得留意，但暫時唔應該簡化成邊個一定贏；最後要睇可量產良率、軟件生態、每瓦效能、延遲分佈同客戶願唔願意改伺服器架構。

對開發者同 IT team 有咩實際意思

如果你只係用現成 API，例如將客戶查詢送去雲端模型，MX1 呢類晶片短期未必會直接出現喺採購清單。真正影響可能會藏喺雲端供應商嘅新 instance、managed vector database 定價、長上下文模型延遲、或者企業 AI 平台嘅推理成本入面。當底層記憶體架構改善，開發者感受到嘅未必係「我買到一粒新晶片」，而係同一 budget 可以承受更長 context、更大 batch、更多 concurrent user，或者更低 p95 latency。

但呢件事亦提醒本地 team，做 RAG 唔好只問模型邊個最聰明。更實際嘅問題係：文件切 chunk 後有幾多 embedding？vector index 放邊度？cache 命中率幾高？長對話保留幾多 token？KV cache 係咪因為多人同時使用而頂爆 RAM？如果系統每次都將大量文件片段塞入 prompt，再靠 GPU 硬算，成本好快會失控。CXL 同近資料處理即使未即時落地，都反映咗行業正將焦點由「買更多 GPU」推向「點樣少搬資料」。

香港角度：間接，但幾現實

香港未見 XCENA 公開本地客戶、供應渠道、港行售價或資料中心採用資料，相關本地落地情況要寫做 [待確認]。但香港並非完全旁觀。數字政策辦公室資料指出，資料中心支援金融服務、貿易物流、雲端服務同新內容應用，政府亦已推動 Sandy Ridge Data Facility Cluster，用作資料中心及相關產業發展。即係話，本地 AI 成本最終會同資料中心容量、電力、雲端基建同跨境延遲拉上關係。

對香港公司嚟講，最實用嘅睇法係：呢類 CXL 記憶體產品未必會變成「港行有售」嘅硬件，但可能改變你租雲端 AI 服務嘅底層成本結構。金融、保險、法律、零售同教育機構做內部知識庫時，好多都要兼顧資料所在、權限、審計同延遲；如果未來雲端供應商用 CXL memory pooling 或 near-memory acceleration 去提升推理效率，香港 team 可能會喺服務級別、區域選擇同月費上見到分別，而唔係喺產品頁見到 XCENA 三個字。

點睇

MX1 值得留意，但唔值得神化。佢代表嘅方向係：AI 成本優化已經由模型壓縮、GPU 排程，伸延到記憶體架構、cache 管理同資料庫查詢。下一步要睇嘅唔係融資估值，而係獨立 benchmark、實際雲端部署、SDK 易用程度、故障率同每個 workload 嘅真實 TCO。香港開發者同 IT team 而家可以先用呢四條問題檢查自己嘅 AI project：

• 有冇量度 KV cache、vector DB 同 RAM 成本，而唔只係 token 成本？
• RAG 係咪每次塞太多文件入上下文，令推理變慢又變貴？
• 自建推理時，GPU 利用率低係算力問題，定係資料搬運同記憶體瓶頸？
• 雲端採購時，有冇比較長上下文、低延遲同資料所在地之間嘅總成本？

參考來源

• TechCrunch — This chip startup just raised $135M on a bet that AI’s biggest bottleneck isn’t compute — it’s memory — original report
• XCENA：Computational Memory 產品頁 — 官方產品資料，用作核對 CXL、near-data processing、vector database 應用同公司 benchmark claim。
• PR Newswire：XCENA MX1 FMS 2025 發布 — 官方新聞稿，確認 MX1 working sample、PoC、CXL / PCIe 描述、SDK 同 FMS award 背景。
• CXL Consortium：About CXL — CXL 官方背景，解釋 cache-coherent interconnect、記憶體擴充同加速器之間嘅關係。
• NVIDIA Technical Blog：Mastering LLM Techniques: Inference Optimization — 用作解釋 LLM 推理、RAG、decode 階段、KV cache 同 memory-bound 問題。
• Astera Labs：Leo CXL Smart Memory Controllers — 競爭及行業脈絡，顯示 CXL memory expansion / pooling 已被多間資料中心晶片公司推進。
• Marvell：Structera CXL Product Line — 競爭及行業脈絡，確認 Marvell 以 CXL 解決資料中心記憶體容量、頻寬同 near-memory acceleration 問題。
• 數字政策辦公室：Data Centre Facilitation — 香港角度來源，確認本地資料中心政策、Sandy Ridge Data Facility Cluster 同雲端服務基建背景。

本文根據原文及公開資料整理；資料有出入時，以原文及官方資料為準。