Oracle 雲端傳引入 Nvidia Vera CPU,重點在記憶體頻寬
3C 產品

Oracle 雲端傳引入 Nvidia Vera CPU,重點在記憶體頻寬

圖片:TechLab 自製資訊圖
TechLab 編輯部(譯)·

Tom’s Hardware 報道稱,Oracle Cloud Infrastructure(OCI)正把獨立 Nvidia Vera CPU 實例納入一項「多吉瓦」部署,並計劃擴充配合雙 Xeon 6 主機的 Rubin-only 叢集。對雲端 AI 團隊而言,這件事的看點不只是一款新 CPU 可供租用,而是 CPU 與 GPU 的配搭開始把記憶體頻寬放到更前的位置。

不過,現有性能依據相當有限。Tom’s Hardware 的標題指出,其以本機 server 進行的獨立測試,Vera 的記憶體頻寬大幅領先雙 Xeon 6;但所提供資料未交代完整測試配置、測試方法及工作負載。因此,這只能說明該次測試觀察到的差異,未足以推論所有雲端實例或所有 AI 工作都會有同樣幅度的優勢。多吉瓦部署規模、實例實際上線範圍及供應區域,也應以 Oracle 與 Nvidia 的正式資料為準。

為何 CPU 記憶體頻寬會影響 AI server

GPU 一般負責大量平行運算,但一台 AI server 仍要由 CPU 處理資料準備、請求編排、儲存與網絡 I/O,以及向 GPU 餵送工作。若 CPU 端需要頻繁讀寫大量資料,限制可能由純粹運算能力轉向資料搬運速度;記憶體頻寬較高,理論上可減少這一環的等待。

這並不代表所有 GPU AI 工作都會因而明顯加速。若負載主要受 GPU 運算、GPU 記憶體容量、GPU 之間互連,或網絡與儲存速度限制,CPU 頻寬的影響可能較小。反過來說,涉及大量 CPU 端資料處理、資料供應或多 GPU 協調的流程,才較值得評估這類平台的價值。

租用雲端資源,不能只看 GPU 型號

這項部署若按報道所述推出,開發者較實際的問題會是:自己的瓶頸究竟在何處。選擇 AI 實例時,除 GPU 型號與數量外,應一併比較 CPU 記憶體頻寬、主機記憶體容量、儲存與網絡吞吐,以及軟件堆疊能否把資料有效送到 GPU。

因此,Vera 的意義更像是為 GPU 叢集提供一種可能較強的主機端配置,而非單靠 CPU 規格便可取代 GPU。下一步值得觀察的是 Oracle 公開哪些實例配置與區域供應資料,以及是否有採用一致方法、涵蓋真實 AI 工作負載的第三方比較,可判斷其優勢會否延伸到實際雲端成本與吞吐量。

延伸閱讀

AI 輔助說明: 本文由 AI 協助整理,並經兩輪獨立自動品質審核;資料及連結仍以原始來源為準。


參考來源

本文根據原文及公開資料整理;資料有出入時,以原文及官方資料為準。

分享:WhatsAppThreadsTelegramFacebook