HBM 頻寬點樣拖慢 ChatGPT token，同雲端 AI 成本有咩關係
金正浩話 GPU 可能大部分時間閒置，重點其實係推論時代嘅 RAM 牆
點解呢件事值得睇
SK hynix 美東 7 月 10 日喺 Nasdaq 做 ADR 掛牌，AP 報道集資 265 億美元，首日收市較發售價高 12.8%。表面係一單資本市場新聞，科技位其實係：錢追住 HBM 跑，因為 AI 推論愈做愈似 RAM 生意。雲端 AI 唔係買完 GPU 就完事；每秒出幾多 token、同時 serve 到幾多用戶，好多時都睇 HBM 頻寬、容量同供應量。
圖片：SK hynix
90% GPU 閒置，當佢係警號
TechNews 科技新報 報道，外界叫「HBM 之父」嘅 KAIST 教授金正浩，焦點放喺 RAM。華爾街見聞轉錄訪談時都有提到，佢估算好多 GPU 真正做運算嘅時間可能得 10% 至 20%，就算調校過 algorithm，都未必過 30%。呢個數字好重，最合理係當成佢對推論 bottleneck 嘅判斷，唔好當成所有數據中心都量到同一個平均值。數據中心 workload、batch size、模型大小、context 長度唔同，GPU 利用率可以差好遠。
圖片：NVIDIA
ChatGPT 出 token，點解會食 HBM
大模型推論最麻煩嘅位，係佢逐粒 token 生出嚟。每一步都要讀模型權重，又要翻查之前對話留低嘅 KV cache，context 一長，HBM 要搬嘅資料就暴增。GPU 入面嘅 Tensor Core 可以好快，但資料未到，算力就等。呢個就係 memory-bound workload：spec 報到好靚，tokens per second 未必跟得上。
圖片：SK hynix
Nvidia 都知，所以 Blackwell 繼續加 HBM
NVIDIA 官方技術文講 Blackwell Ultra 每粒 GPU 最高 288GB HBM3E，頻寬 8TB/s；呢啲 spec 直接服務大模型、長 context 同高併發推論。問題係，GPU 一代代加 Tensor Core，HBM stack、interposer、封裝、供電同散熱都要一齊升級。你見到 rack 價錢高，原因唔只 GPU 貴，仲有成套 memory subsystem 貴。
HBM4 令 RAM 廠議價位置硬淨咗
SK hynix 早前話 HBM4 用 2,048 個 I/O terminal，頻寬較上一代翻倍，功耗效率改善超過 40%。呢啲數字解釋咗點解 Nvidia、Google、AMD 呢類客戶會提早鎖供應。HBM4 開始愈來愈似度身訂造零件，RAM 廠唔再只係等客買現貨；佢哋要一早同客戶對設計、對產能、對封裝路線，議價位置自然硬淨咗。
HBF 同 HBS 睇嘅唔止速度
再睇落去，重點就係 HBF 同 HBS。SK hynix 同 Sandisk 今年 2 月話會喺 OCP 底下推 HBF 標準，定位係夾喺 HBM 同 SSD 中間，幫 AI 推論補容量同功耗效率。Sandisk 自己嘅講法係，HBF 用 NAND 做底，目標係用接近 HBM 嘅頻寬換到大好多嘅容量。至於 HBS，仲係好早期概念，聽落吸引，但要堆 SRAM、供幾千 ampere 電流、處理熱，工程難度唔細。
雲端 AI 收費會反映呢堵牆
對香港用雲端 GPU、買 AI API、做 agent workflow 嘅團隊，呢件事唔係半導體圈內八卦。模型推論成本入面，GPU 小時數、HBM 容量、頻寬、能源同供應緊張都會變成 token 價格。agent 愈多步、context 愈長、工具 call 得愈密，背後就愈食 RAM。開發者調 prompt 之外，仲要識揀模型大小、cache 策略、batch 同上下文長度，唔係每件事都丟畀最大模型。
下一步睇咩
金正浩嘅講法有火藥味，但方向唔離地：推論時代要睇 tokens per watt、tokens per dollar，同一部 AI server 可以同時餵幾多 request。HBM4 量產良率、HBF 標準化、NVIDIA 同雲端供應商點樣分配 HBM，呢三件事會直接影響未來 AI 服務嘅成本曲線。講 GPU 幾多 PFLOPS 仍然有用，不過而家要一齊睇佢餵唔餵得飽。
參考來源
- TechNews 科技新報 — HBM 之父語出驚人：GPU 閒置率高達 90%，輝達要繼續成長都得靠記憶體 — original report
- HBM之父金正浩：AI的本质是内存，GPU真正工作的时间只有10%｜華爾街見聞 — 訪談轉錄來源，核對金正浩對 GPU 閒置、HBM、HBF、HBS 嘅講法。
- SK Hynix rises nearly 13% in debut on Wall Street as demand for memory chips soars amid AI frenzy｜AP News — 核對 SK hynix ADR 首日交易、集資額同收市升幅。
- Inside NVIDIA Blackwell Ultra: The Chip Powering the AI Factory Era｜NVIDIA Technical Blog — 官方技術背景，核對 Blackwell Ultra HBM3E 容量、頻寬同推論定位。
- SK hynix Completes World’s First HBM4 Development and Readies Mass Production｜SK hynix Newsroom — 官方新聞稿，核對 HBM4 I/O、頻寬翻倍同功耗效率改善。
- SK hynix and Sandisk Begin Global Standardization of Next-Generation Memory ‘HBF’｜SK hynix Newsroom — 官方新聞稿，核對 HBF 標準化、OCP workstream 同 AI 推論定位。
- Scaling the Memory Wall: Behind Sandisk’s High Bandwidth Flash for AI Inferencing｜Sandisk — 補充 HBF 用 NAND 補容量同推論 memory wall 嘅技術背景。
本文根據原文及公開資料整理；資料有出入時，以原文及官方資料為準。
