367,000 參數塞進軟碟:DOS 本地聊天模型的取捨
3C 產品

367,000 參數塞進軟碟:DOS 本地聊天模型的取捨

TechLab 編輯部·

XDA Developers 報道,Reddit 用戶 wollymonjak 展示了一個可在 MS-DOS 運行的微型 transformer 聊天程式。專案作者稱,程式可放進一張軟碟,並能在舊款 Intel Pentium 電腦上執行;模型本體約 380KB,使用 8 位元權重,運行時需要約 540KB 可用 conventional memory。

這項展示的重點不在於讓舊電腦獲得現代聊天機械人的能力,而是在極其有限的儲存與記憶體條件下,驗證一個語言模型能否完全本地運行。對喜歡復古電腦、嵌入式系統或研究模型部署的人來說,它呈現了模型壓縮與執行環境取捨的極端案例。

小到能運行,卻遠未等於通用 AI

按 XDA 引述的資料,這個模型只有 367,000 個參數,由 4 層組成、寬度為 96,並以逐字母方式讀寫。它訓練於約 3,500 項事實,且每項事實會以多種不同問法出現。專案作者同時坦言,離開這個知識範圍,或問題變得太長、太複雜時,模型便可能產生看似肯定但內容錯誤的回答。

因此,這套系統較適合作為窄範圍問答與技術展示,不能視為可替代現代雲端聊天服務的離線助手。模型會輸出通順文字,並不代表它理解問題或能可靠核對事實;在這種參數規模和訓練資料範圍下,幻覺是預期限制。

壓縮帶來的工程意義

模型採用 8 位元權重,並以每列一個 scale 的方式量化。這類設計直接降低模型檔案與記憶體需求,代價則是數值精度及模型容量受限。加上 4 層架構與逐字母處理,系統將運算負擔壓到舊 CPU 可以承受的程度,但生成速度、表達能力與長文本處理能力也會隨之受限。

XDA 報道稱,專案作者以 Claude Fable 5.2 協助建立 transformer,並由 Opus 5.5 產生訓練資料。這些說法目前來自作者展示及二手報道;就成果而言,較可確定的意義是部署條件,而非 AI 自動完成模型研發的能力已獲獨立驗證。

專案亦加入全螢幕霓虹介面、神經網絡監視畫面及 PC speaker 機械人聲音。這些元素增加復古體驗,但不改變模型的知識與可靠性邊界。

接下來值得觀察的是,這類極小模型能否配合更嚴謹的資料集與可重現測試,清楚量度答對率、速度和記憶體使用情況。若能做到,舊電腦與資源受限硬件的本地 AI 實驗,才更容易由吸睛示範走向可比較的工程成果。

延伸閱讀

AI 輔助說明: 本文由 AI 協助整理。


參考來源

本文根據原文及公開資料整理;資料有出入時,以原文及官方資料為準。

分享:WhatsAppThreadsTelegramFacebook