破解 PS4 跑 9B 模型:43 tokens/s 背後的限制
3C 產品

破解 PS4 跑 9B 模型:43 tokens/s 背後的限制

TechLab 編輯部·

一個名為 Garlic LLM 的開源專案,據 Tom's Hardware 報道,已在已破解的 PlayStation 4 上運行一個 90 億參數本地 AI 模型,最高輸出速度達每秒 43 個 token。其核心做法是繞過既有驅動,直接與這部 2013 年世代主機的 GPU 溝通。

這項成果最吸引人的地方,在於它展示舊遊戲主機的圖形硬件仍可能承擔特定 AI 推論工作;不過,對一般希望在家中使用本地 AI 的人來說,破解主機、軟件相容性和保安風險,令它暫時更接近技術展示,而非可直接取代電腦的方案。

43 tokens/s 代表甚麼

token 是語言模型處理及生成文字的基本單位,並不等同一個中文字或一個英文單字。以每秒 43 個 token 計,模型在逐字輸出回應時理論上可呈現相當流暢的節奏,因此足以說明 PS4 的 GPU 並非只能用於遊戲。

但「最高 43 tokens/s」只能視為該實驗中的峰值數字。模型的量化方式、prompt 長度、回應長度、記憶體使用、散熱與其他系統設定,都會影響實際速度;目前提供的報道資料未列出這些測試條件。因此,這個數字不宜直接與其他電腦、GPU 或本地 AI 軟件的結果並列比較,也不能推論所有 9B 模型都能在 PS4 達到同樣表現。

直接使用 GPU 的意義與代價

Garlic LLM 繞過既有驅動直接使用 GPU,反映開發者正嘗試突破舊平台原本為遊戲而設的軟件邊界。從工程角度看,這類路徑可讓硬件再利用有更多可能,也可能為研究不同 GPU 執行方式提供參考。

代價同樣明確。這次示範以已破解 PS4 為前提,使用者可能面對主機條款、保安與法律風險,並可能失去一般主機環境的穩定性。即使不討論破解本身,直接與硬件溝通的軟件通常也較難安裝、維護及排除故障。來源亦僅顯示一項模型運行成果,未足以確認其在長時間對話、不同模型或日常工作上的可靠程度。

一般用戶應如何看待

若目標是離線摘要、寫作輔助或私人文字處理,較安全的方向仍是選用受支援的個人電腦與本地 AI 軟件,並確認模型大小、儲存空間及運行速度是否符合需要。PS4 的案例較適合對底層 AI 推論、舊硬件再利用有興趣的研究者和愛好者,而不宜視作一般用戶的部署建議。

接下來值得觀察的,是 Garlic LLM 能否在更多受支援的硬件上重現結果,以及是否公開足夠測試條件,讓外界判斷其速度、穩定性與可重複性。

延伸閱讀

AI 輔助說明: 本文由 AI 協助整理。


參考來源

本文根據原文及公開資料整理;資料有出入時,以原文及官方資料為準。

分享:WhatsAppThreadsTelegramFacebook