DeepSeek 傳自己研發 AI 推理晶片,平價模型背後要追算力控制權
Tech News

DeepSeek 傳自己研發 AI 推理晶片,平價模型背後要追算力控制權

圖片:via Engadget — https://www.engadget.com/2209378/deepseek-reportedly-developing-ai-chips/
TechLab 編輯部(譯)·

Reuters 指項目仲係早期,重點喺 NVIDIA 同 Huawei 依賴點拆。

消息講咗咩

Reuters 引述三名知情人士話,DeepSeek 正研發自家 AI 晶片,方向係推理用,即係模型訓練好之後,用嚟回應用戶 prompt 嗰段算力。報道話項目大約一年前開始,DeepSeek 已經同晶片設計、代工同 HBM 相關公司傾合作,近月亦私下招晶片設計工程師;公司未回應 Reuters。先講清楚:而家冇規格、冇流片時間、冇性能數字,講到「DeepSeek 自己整 GPU」就太快。

點解係推理晶片

大家成日講訓練成本,但 AI 服務真正長期燒錢嘅位,係每次有人問問題、app 生成內容、公司內部 agent 跑流程嗰陣。訓練似一次性大工程,推理就係日日計電費、機櫃、延遲同閒置率。DeepSeek 之前靠模型架構同工程優化出名,如果自家 accelerator 真係圍住自己模型嘅推理路徑設計,理論上可以慳電、慳 HBM 壓力,仲可以令 API 價有多啲調整空間。

低成本招牌同硬件好貼

DeepSeek-V3 技術報告寫過,完整訓練用咗 2.788M H800 GPU hours;用每 GPU hour 2 美元計,官方訓練成本約 557.6 萬美元。不過呢個數只計正式訓練,唔包前期研究、實驗、工程人手同失敗成本。呢點重要:DeepSeek 嘅賣點其實係喺受限硬件上搵效率,唔係突然變到魔法咁平。由 MLA、MoE 到多 token prediction,都係用軟件同模型設計減少無謂計算。去到推理晶片,玩法會變成模型、編譯器、晶片一齊調校。

NVIDIA 同 Huawei 都有掣肘

Reuters 話 DeepSeek 想減少對 NVIDIA 同 Huawei 晶片嘅依賴,呢個背景好現實。美國出口限制令中國公司買唔到 NVIDIA 最尖嗰批 AI accelerator;DeepSeek 亦講過 R1 底層用嘅 V3 係用 H800 訓練,而 H800 之後俾 2023 年收緊規則卡住。至於 Huawei,Ascend 已經係中國市場最重要嘅替代選項,Reuters 又話佢攞到中國 500 億美元 AI 晶片市場大約一半,但 DeepSeek 長遠靠供應商嘅 roadmap,成本同排期都會畀人牽住。

難位喺製造同 HBM

自家晶片聽落好直接,但 AI accelerator 最難唔止係畫出設計圖。推理晶片要食 memory bandwidth,仲要 compiler、runtime、分散式服務同模型框架配合;冇 CUDA 呢種成熟軟件生態,工程成本會好快搬返去開發者身上。仲麻煩嘅係製造:Reuters 提到美國限制中國設計公司用最先進海外代工廠,HBM 亦受限制。即使 DeepSeek 搵到設計夥伴,量產良率、封裝、HBM 供應同功耗控制,全部都係硬仗。

對開發者同公司有咩影響

香港做 AI startup、SaaS 或公司 IT 嘅人,未必會直接買 DeepSeek 晶片,但會感受到背後嘅價格同可用性。若果 DeepSeek 只靠外部 GPU,API 價、排隊時間、邊啲地區有得用、模型更新節奏,都會跟住供應走。若果佢掌握到自己嘅推理硬件,第一個變化多數落喺平價 API 可唔可以長期維持、私有部署有冇更多選擇,仲有雲端服務商要點同佢接。

下一步睇咩

呢單消息唔好只睇股價即日郁幾多,下一步要睇三件實事:DeepSeek 會搵邊間代工同 HBM 供應,晶片會唔會真係貼住自家模型架構設計,仲有軟件 stack 可唔可以令開發者少改 code。未有呢啲答案之前,佢仍然係早期供應鏈消息;但方向已經好清楚:平價模型之後唔止鬥 paper 同 API 價,仲會鬥機房入面嗰塊 accelerator。


參考來源

本文根據原文及公開資料整理;資料有出入時,以原文及官方資料為準。

分享:WhatsAppThreadsTelegramFacebook