把家中 PC 本地模型帶到 iPhone:方便背後的成本與限制
3C 產品

把家中 PC 本地模型帶到 iPhone:方便背後的成本與限制

TechLab 編輯部(譯)·

XDA Developers 報道,其作者利用家中遊戲 PC 運行本地語言模型,再透過 LM Studio 的 LM Link 和 iOS app「Locally」在 iPhone 存取。手機只負責顯示與輸入,推理工作仍由家中的 GPU 處理;即使手機改用流動數據,作者稱仍可連線,毋須在 router 開放連接埠。

這為已有合適 PC 的用家提供一條折衷路線:大型模型未必放得進手機記憶體,卻可在外出時保留接近桌面電腦的使用方式。對不想把文件或筆記交給雲端 AI 處理的人而言,資料在自家硬件上推理亦有吸引力。不過,這並不等於整個方案沒有成本;它把雲端訂閱費與第三方運算依賴,換成現有 GPU、長時間開機及家居網絡的要求。

連線方式的實際意義

報道所述設定中,LM Studio 在 PC 下載及執行模型,LM Link 則把其他裝置接到該 PC。作者使用的 LM Studio v0.4.28 將 LM Link 建基於 Tailscale,並稱連線採端對端加密,PC 不會直接暴露在互聯網上。這種做法的價值在於,用家毋須自行處理 router port forwarding,亦能在非同一 Wi-Fi 下使用模型。

報道中的作者在 iPhone 安裝 Locally、登入 LM Studio 帳戶後,app 便會顯示已連結 PC 及其模型。據其測試,關閉 iPhone Wi-Fi、改用流動數據後仍能發問。對於只想在手機讀取長文件摘要、查詢筆記或延續桌面對話的用家,這比遠端操控整台電腦更接近一般聊天 app 的操作。

免費不代表零門檻

XDA 作者以 Google 的 4-bit Gemma 4 26B A4B 模型為例,指模型權重約佔 14.4GB;其 PC 配備 RTX 4070 Ti Super,並可把模型各層放入 GPU。這說明手機端看似可使用 26B 級模型,前提是家中電腦已有足夠 VRAM 與效能,並非 iPhone 自行運行該模型。

用家還要接受幾項限制:

  • PC 必須保持開機及喚醒;電腦進入睡眠狀態,手機便失去模型連線。
  • LM Link 目前屬 Preview。報道稱 LM Studio 計劃在正式推出後加入付費級別,因此長期收費模式未定。
  • 報道所述 Locally 目前只支援 iOS,Android 用家未有同一條官方 app 路徑。
  • 自家運行雖可減少把內容送往一般雲端聊天服務,但帳戶登入、連線服務及 app 的資料處理安排,仍應由用家在啟用前自行閱讀相關條款與私隱政策。

適合誰,下一步看甚麼

若用家本來已有可跑本地模型的桌面 PC,這種架構可把既有硬件延伸到手機,避免為手機端另覓較小模型或為高用量雲端服務付費。相反,若要為此新購 GPU、讓電腦長期運作,總成本和耗電未必低;它較適合作為現有本地 AI 設備的延伸,而非人人可即時取代雲端聊天工具的方案。

下一個值得觀察的是 LM Link 完結 Preview 後的收費與功能安排,以及 Android 是否獲得相近支援。這些因素會決定它究竟是本地 AI 愛好者的便利連線工具,還是能擴展至更廣泛手機用家的選項。

延伸閱讀

AI 輔助說明: 本文由 AI 協助整理。


參考來源

本文根據原文及公開資料整理;資料有出入時,以原文及官方資料為準。

分享:WhatsAppThreadsTelegramFacebook