屋企跑本地 AI、出街用手機連返去:Tailscale 安全設定同取捨
3C 產品

屋企跑本地 AI、出街用手機連返去:Tailscale 安全設定同取捨

圖片:via XDA Developers — https://www.xda-developers.com/local-llm-home-server-tailscale-replace-chatgpt/
TechLab 編輯部(譯)·

由 Ollama、網頁介面到私人連線,逐步拆解成本、私隱同限制

XDA Developers 作者 Korbin Brown 一直用 Ollama 跑本地模型,但過去仍然保留 ChatGPT Plus,主要貪佢出街用手機同其他電腦都方便。佢後來用 Tailscale 遙距連返屋企部機,於是取消訂閱。個做法本身唔複雜,但「停用 ChatGPT Plus」只係作者按自己用途作出嘅決定;本地 LLM 能否頂替雲端服務,差距遠遠唔止一個聊天畫面。

個架構其實得三層

最基本係用 Ollama 喺屋企部電腦載入模型,再加 Open WebUI 一類網頁介面,等手機可以好似普通聊天 app 咁操作。最後喺屋企主機同手機裝 Tailscale,將兩部裝置放入同一個私人 tailnet。Ollama 官方文件寫明,服務預設只綁定 127.0.0.1:11434;呢個預設值得保留,交畀前端同反向代理處理連線,唔好為求方便直接將 Ollama API 開畀屋企成個 LAN,甚至直接駁出互聯網。

如果網頁介面喺本機 3000 port,概念上可以用 tailscale serve localhost:3000,再由已登入同一個 tailnet 嘅手機開 Tailscale 提供嘅 HTTPS 地址。實際 port、容器網絡同啟動方式會按前端設定而變,照抄指令前要先確認服務聽緊邊個地址。想重開機後自動恢復,亦要配合背景模式、systemd 或容器自動重啟,否則人一出門先發現個介面冇開。

Serve 同 Funnel 差一個字,風險差好遠

Tailscale Serve 只會喺 tailnet 入面提供服務;Funnel 就會將服務公開畀成個互聯網。 Funnel 有 HTTPS 同加密通道,唔等於得你先入到:任何攞到或者撞到公開網址嘅人,都可能連到前端。屋企自用 AI 應該揀 Serve;Funnel 較適合短暫分享 demo 或接收 webhook,唔適合當私人遙距入口,仲唔應該用嚟裸露 Ollama API。

裝好 Tailscale 都未算完。要喺 tailnet policy 用 Grants 或 ACL 限定邊個帳戶、邊部裝置可以入 AI 主機指定 port,前端支援登入、雙重認證或 session 管理亦應該開。手機遺失後要即時喺 Tailscale 管理頁撤銷裝置,屋企主機、Ollama、前端同容器則要定期更新。最好另外檢查 tailscale serve statustailscale funnel status,避免測試過 Funnel 之後忘記關掉。

私隱好咗,但責任搬咗返屋企

純本地模式下,Ollama 官方話唔會見到本機運行時嘅 prompt 同答案;如想完全避開 Ollama 雲端模型同網上搜尋,亦可以關閉 cloud 功能。呢種安排適合處理唔想交畀第三方模型供應商嘅筆記、草稿或程式碼。不過前提係成條鏈都留喺本地:一旦前端另接雲端 API、裝咗會外傳資料嘅插件,或者你主動開啟網上搜尋,私隱邊界就唔再只得屋企部機。

同時,資料保安變成自己負責。硬碟、聊天紀錄、模型、登入憑證同備份都喺屋企,主機中毒、硬碟壞、帳戶俾人入侵或者手機失竊,都要自己處理。Tailscale 解決咗裝置之間點樣安全連線,唔會代替前端認證、系統更新、磁碟加密同備份;將佢當成一個完整保安方案,反而最危險。

快唔快,先睇 GPU、RAM 同模型大小

原文用 Qwen2.5-Coder 做例子,但到 2026 年呢個系列已經唔算新,唔應該直接當成而家嘅模型推薦。模型更新得快,亦冇一個「本地模型速度」可以套落所有電腦:參數量、量化版本、context 長度、GPU VRAM、系統 RAM、CPU offload 同 prompt 都會改變速度同答案質素。模型塞得入 VRAM,回應通常爽好多;部分層要搬返 RAM 或純 CPU 跑,手機等第一粒 token 嘅時間可以明顯拉長。

所以揀模型應該由自己嘅工作同硬件倒推:先試細模型處理摘要、改文同簡單程式碼,再逐級加大,記錄常用 prompt 嘅速度同錯誤率。唔好只睇公開榜單,因為榜單分數未必反映你嗰張 GPU、量化檔同語言需求。尤其廣東話、長文件、工具調用同複雜除錯,最好用一批真實工作逐題比較,先決定可唔可以取消現有服務。

月費慳到幾多,要連硬件同電費一齊計

ChatGPT Plus 官方月費係 US$20,訂閱後有較高使用上限、更多模型選擇、進階推理、語音、圖片生成、檔案分析、Deep Research 同自訂 GPT 等功能。本地方案冇固定月費,但高階 GPU、RAM、儲存、備份同不斷電設備都有成本。主機只有生成答案時先高負載,電費會低過長期滿載嘅估算;不過全天候待機、散熱同夏天冷氣一樣要計。

細單位仲有噪音同熱力呢兩個實際問題。舊電腦本身已有合適 GPU,又只係間中用,本地方案可以幾抵;如果為咗慳每月 US$20 特登砌一部高功耗主機,單計回本期未必好睇。較合理嘅做法係先用現有硬件試足幾星期,量度插座實際耗電同每日使用時間,再決定升級,唔好用 GPU 標示功耗直接當成全月電費。

本地模型未包辦 ChatGPT 嗰套服務

ChatGPT 嘅優勢仲有雲端同步、手機 app、網上搜尋、語音、圖片、檔案工具同供應商負責 uptime。屋企方案停電、router 斷線、主機瞓咗、GPU driver 出錯或者更新後起唔返,人在街外通常冇得即場修理。Tailscale 只係打通條路,唔會令模型變強,亦唔會自動補上搜尋、引用、記憶同步同各種工具。

如果主要用途係改寫私人文件、問固定知識、簡單 coding,而且屋企已有合適硬件,本地 LLM 配 Tailscale Serve 確實幾實用。重度依賴最新資料、跨裝置歷史、語音、圖片或研究工具嗰批人,保留雲端服務會省事得多;亦可以本地處理敏感內容,複雜研究先交雲端。試清楚一個月嘅速度、穩定性同實際用量,再決定停唔停訂閱,會穩陣好多。


參考來源

本文根據原文及公開資料整理;資料有出入時,以原文及官方資料為準。

分享:WhatsAppThreadsTelegramFacebook