8GB MacBook 離線跑看、聽、說 AI:可用,但別當分析工具
3C 產品

8GB MacBook 離線跑看、聽、說 AI:可用,但別當分析工具

TechLab 編輯部(譯)·

Liquid AI 的 LFM3-Omni 顯示,只有 8GB 記憶體的 M2 MacBook Air,也有機會在不連網的情況下處理鏡頭畫面、語音輸入、文字轉錄及語音回應。對想延長舊電腦用途、又不希望錄音或影像上傳雲端的用戶,這類整合式模型提供了一條較輕量的路。

不過,這並不代表 8GB 電腦已可取代雲端 AI 或處理所有多模態工作。XDA 的單一作者測試發現,模型雖能辨認常見物件、快速轉錄短錄音,卻在表格數字與算術問題上表現不穩。約 3GB 記憶體佔用亦只屬該測試組合的觀察結果,未必適用於其他電腦、runtime 或使用方式。

一個模型,減少多工具並行的負擔

LFM3-Omni 是一個 22 億參數模型,可接收圖片、影片及語音,並以文字或語音回覆。XDA 所述的重點,在於它嘗試把語音辨識、視覺理解、聊天及文字轉語音四類工作放進同一個模型;相對同時載入多個獨立模型,理論上可降低模型權重與各自 runtime 的累積開銷。

該作者以社群開發的免費 lfm3-mega-demo 運行 Liquid AI 的官方 8-bit 版本,透過 Apple 的 MLX 框架在 Mac 上提供談話、視覺、轉錄及朗讀分頁。作者關閉 Wi‑Fi 後完成測試,並在 Activity Monitor 觀察到程式峰值為 2,968MB,當中約 2,814MB 位於 Mac 的共享 GPU 記憶體。

這個數字的實際意義是:8GB 機種並非完全不能碰本機多模態 AI;若工作重點是簡單看圖、聽寫或朗讀,記憶體壓力或許仍可控制。但它不應被理解為所有 8GB 電腦都可穩定騰出約 5GB 供其他工作使用,因為作業系統負載、量化版本、app 實作和輸入內容均會改變結果。

功能上最適合「看、聽、說」

XDA 的鏡頭測試中,LFM3-Omni 能辨認 PlayStation 手掣及機械鍵盤,但也把沒有數字鍵區的緊湊鍵盤稱為全尺寸鍵盤。這反映它適合做一般物件描述或免提提示,對細節分類仍要保留覆核環節。

語音可能是較實際的切入點。作者稱,模型可用 19 種語言及口音朗讀輸入文字;一段五秒錄音在 0.72 秒完成逐字轉錄,首個字在 0.35 秒出現。若相近表現可在不同裝置重現,本機轉錄可用於個人語音筆記、訪談初稿或會議錄音整理,讓音訊不必因這一步處理而離開電腦。

然而,「離線」只代表模型推理可在裝置內進行,並不自動保證整個工作流程沒有資料外流。使用者仍須核實所用 demo、瀏覽器介面、下載來源及其他整合工具的網絡行為;尤其這次令模型能語音回覆的,是社群 demo,並非文中所述的官方完整客戶端。

數字和文件分析仍是短板

作者用自行編製的 PC 零件價格表測試五條問題時,LFM3-Omni 首輪只答對一題,第二輪沒有答對;錯誤包括把跌價說成加價,以及把百分比變動套到錯誤列。這說明看得見表格,不等於能可靠理解欄位關係或完成計算。

來源指出,LFM3 系列中的 Omni 版本不能在回答前作推理;同一作者改用 LFM3-VL-2B 視覺版本,經 llama.cpp 在 4-bit 運行後,答對同一組五條問題。這是一次特定測試,而非模型系列的全面排名,但足以提醒用戶:選模型時應先看任務。要做轉錄、朗讀和簡單鏡頭描述,可考慮 Omni;若涉及數字、表格或需要逐步核對的內容,仍應另行驗證答案,或選用更適合推理的工具。

安裝與授權也要看清楚

文中提到,作者先透過 Ollama 運行模型,能使用視覺和聆聽功能,卻沒有語音回覆;要取得完整看、聽、說的 demo 體驗,才改用 GitHub 上的社群 app。這代表安裝途徑仍有碎片化問題,功能是否齊全取決於所用前端與 runtime,未必只是下載模型便可解決。

LFM3-Omni 採用開放權重形式,授權為 Liquid AI 的 LFM Open License v1.0。開放權重不等於可不受限制地商用、修改或再分發;有意把它放入產品、公司流程或公開服務的用戶,應先閱讀適用授權條款。

對一般用戶而言,這類模型目前較適合做私人的離線輔助:讀出草稿、轉錄短錄音、描述鏡頭前的物件,或在較舊的 8GB 電腦上探索本機 AI。下一步值得觀察的,是官方或可信工具能否把完整功能整合得更易安裝,以及小型多模態模型能否在不明顯增加資源需求下,改善表格、數字與複雜指令的可靠性。

延伸閱讀

AI 輔助說明: 本文由 AI 協助整理。


參考來源

本文根據原文及公開資料整理;資料有出入時,以原文及官方資料為準。

分享:WhatsAppThreadsTelegramFacebook