TAG

#本機 AI

75 篇文章

TechLab 所有關於「本機 AI」嘅文章、評測同教學,由最新排起。

二手 Tesla V100 平價加 16GB VRAM:本機 LLM 慳錢背後六個伏位3C 產品

二手 Tesla V100 平價加 16GB VRAM:本機 LLM 慳錢背後六個伏位

一張平價二手 Tesla V100,配合 RTX 4080 跑出 32 tokens/s,睇落幾吸引。不過 32GB 只係兩張卡合計,重有 SXM2 轉接、散熱、driver、耗電同重啟異常要處理,價錢亦唔可以直接照搬美國市場。

2 個月前
美企聯署力保 open-weight AI:限制一收緊,私有部署同成本都會受牽連Tech News

美企聯署力保 open-weight AI:限制一收緊,私有部署同成本都會受牽連

NVIDIA、Microsoft、Meta 等公司聯署,叫美國政府唔好太早限制 open-weight AI。表面係開放路線之爭,實際牽涉 GPU、雲端同企業 AI 生意;一旦模型發布或出口收緊,開發者嘅微調、私有部署同議價空間都可能縮水。

2 個月前
高階 Mac 可能要等到 M7:想買 MacBook Pro 使唔使忍到 2027?Tech News

高階 Mac 可能要等到 M7:想買 MacBook Pro 使唔使忍到 2027?

The Verge 引述 Bloomberg 報道指 Apple 可能只出 base M6,Pro/Max 要等 M7 先返嚟。對剪片、coding、local AI workflow 嘅買家,重點落喺現有 M5 Pro/Max 夠唔夠用到下一輪大升級。

2 個月前
斷網照樣開工:由筆記、文件到本機 AI,離線方案有幾可靠3C 產品

斷網照樣開工:由筆記、文件到本機 AI,離線方案有幾可靠

XDA 作者用 Obsidian、Paperless-ngx、BentoPDF 同 Ollama 組成離線工具組合,方向幾實際,不過每款工具嘅「離線」意思都唔同。由檔案有冇下載、本機服務識唔識啟動,到同步衝突同登入授權,全部都要喺斷網前處理。

2 個月前
AMD 192GB Gorgon Halo 搬 AI agent 上桌面,300B 跑得到未必跑得順Tech News

AMD 192GB Gorgon Halo 搬 AI agent 上桌面,300B 跑得到未必跑得順

AMD 用最高 192GB unified memory,令 Ryzen AI Max PRO 400 可以裝入 4-bit 量化嘅 300B 模型。不過官方暫時冇交出呢個情境嘅生成速度,ROCm 喺 Windows 亦仲有限制。真正啱用嘅,會係長時間跑模型、處理敏感資料同想控制 token 開支嘅團隊。

2 個月前
AMD Gorgon Halo 塞入 192GB RAM,本機跑 300B 模型有幾實際?Tech News

AMD Gorgon Halo 塞入 192GB RAM,本機跑 300B 模型有幾實際?

AMD 用 Gorgon Halo 將統一記憶體推高至 192GB,瞄準本機大型模型、coding agent 同企業自動化。不過 300B 只代表經 4-bit 量化後有機會載入,實際速度、長 context、ROCm 支援同供應情況,全部仍有數要計。

2 個月前
Open CoDesign 可取代 Claude Design、Figma Make 同 Replit 嗎?免費背後仲有幾多成本3C 產品

Open CoDesign 可取代 Claude Design、Figma Make 同 Replit 嗎?免費背後仲有幾多成本

XDA 作者用 Open CoDesign 減少多個 AI 設計訂閱,但免費只限軟件本身,模型 token、現有訂閱、本機硬件同設定時間仍然要計。佢適合由設計原型直接交畀前端開發,但未能完整頂替 Figma 協作同 Replit 部署。

2 個月前
本機 LLM 真係慳錢又保密?16GB RAM 只夠入門,雲端模型仲未退場3C 產品

本機 LLM 真係慳錢又保密?16GB RAM 只夠入門,雲端模型仲未退場

XDA 作者將 LLM 裝落自己部 Windows PC,最後變成每日主力工具。不過佢用緊 RTX 5070 加 32GB RAM,體驗唔代表一般 notebook。本機模型勝在離線、資料唔使交去第三方同冇用量限制,但模型質素、速度同硬件成本仍然要逐樣計。

2 個月前
Mac 而家買定等?M6、OLED 觸控大改款嘅換機時間線Tech News

Mac 而家買定等?M6、OLED 觸控大改款嘅換機時間線

有消息指 Apple 會由今年秋季起更新多款 Mac,不過首部 M6 MacBook Pro 可能只係常規升級;OLED、觸控螢幕同新機身要再等一輪。急住換機可以照買現有 M5,做本機 AI 就要優先諗 RAM 同散熱。

2 個月前
Apple 傳兩年內更新全線 Mac:而家買定等秋季 M6、OLED MacBook Pro?3C 產品

Apple 傳兩年內更新全線 Mac:而家買定等秋季 M6、OLED MacBook Pro?

Bloomberg 指 Apple 正籌備兩年 Mac 更新大計,秋季先有 M6 入門 MacBook Pro 同新 iMac,OLED 觸控 MacBook Pro 或要等到年底。傳聞涵蓋成條產品線,但唔同買家嘅答案差好遠。

2 個月前
Cisco Antares 本機掃程式碼夠實用?細模型可縮窄範圍,漏洞判斷仍要靠人Tech News

Cisco Antares 本機掃程式碼夠實用?細模型可縮窄範圍,漏洞判斷仍要靠人

Cisco 推出專攻漏洞定位嘅 Antares 細模型,可以留喺公司內網搜尋大型程式碼庫,減少敏感原始碼外流同雲端推理開支。不過官方 benchmark 顯示,現階段漏報同錯報都相當明顯,較適合幫資安人員排查可疑檔案,未夠資格獨力把守 CI/CD。

2 個月前
Ollama 配 LM Studio:點解本機 AI 裝兩個 app 會順手啲3C 產品

Ollama 配 LM Studio:點解本機 AI 裝兩個 app 會順手啲

本機 AI 工具功能重疊得愈來愈多,但介面、整合方式同設定難度仍然差好遠。Ollama 適合做其他工具背後嘅模型服務,LM Studio 就方便搵模型、聊天同調校;揀之前仲要睇清 RAM、VRAM、私隱邊界同中文表現。

2 個月前
本機 Qwen 卡住先叫 Claude Fable 5:慳 API 錢但私隱代價唔細3C 產品

本機 Qwen 卡住先叫 Claude Fable 5:慳 API 錢但私隱代價唔細

XDA 作者畀本機 Qwen 2.5 Coder 自己判斷幾時向 Claude Fable 5 求救,普通改碼留喺電腦,複雜問題先付 API 錢。不過真正難處係點定義「卡住」、截住失控呼叫,同埋避免私人程式碼跟錯誤資料一齊送上雲端。

2 個月前
筆記留喺自己部機:本機 LLM 知識庫夠私隱,但未夠 NotebookLM 易用3C 產品

筆記留喺自己部機:本機 LLM 知識庫夠私隱,但未夠 NotebookLM 易用

將會議紀錄、客戶資料同私人筆記交畀雲端 AI,方便得嚟始終要計資料風險。本機 LLM 加 RAG 可以將檔案留喺自己部電腦,但由安裝、揀模型到中文搜尋都要自己調校,體驗同 NotebookLM 仲有一段距離。

2 個月前
RTX Spark 未到先開預覽,Windows on Arm 嘅 CUDA 生態要提早補課Tech News

RTX Spark 未到先開預覽,Windows on Arm 嘅 CUDA 生態要提早補課

NVIDIA 趕喺 RTX Spark 硬件推出前,先放出開發者 driver 同 CUDA Toolkit 13.4 預覽版。開發者可以用現有 Windows on Arm 裝置準備 Arm64/Arm64EC app,但 PyTorch、記憶體傳輸同除錯工具仍有已知問題,距離完整穩定嘅本機 AI workflow 仲有一段路。

2 個月前
Docker Model Runner 可唔可以取代 Ollama?轉唔轉要睇開發流程3C 產品

Docker Model Runner 可唔可以取代 Ollama?轉唔轉要睇開發流程

Docker Model Runner 已經做到拉模型、GPU 加速、OpenAI/Ollama-compatible API,仲可以直接接入 Compose。不過對用開 Ollama 嘅人,功能齊唔代表值得搬;值唔值得轉,主要睇模型格式、平台支援同現有開發流程。

2 個月前
普通電腦自己跑 LLM 值唔值?私隱同成本背後仲有幾筆數3C 產品

普通電腦自己跑 LLM 值唔值?私隱同成本背後仲有幾筆數

本機 LLM 已經去到普通 16GB 電腦都玩得起,但「跑得郁」同「取代 ChatGPT」差好遠。由模型質素、RAM、速度到用電同資料安全,真正抵玩嘅情況其實幾清楚:手上已有合適硬件,又經常處理唔方便上雲端嘅文件。

2 個月前
Calibre 電子書 AI 問答教學:本機模型、私隱同全書搜尋限制一次拆清3C 產品

Calibre 電子書 AI 問答教學:本機模型、私隱同全書搜尋限制一次拆清

Calibre 可以用雲端 API、Ollama 或 LM Studio 解釋同翻譯電子書段落,亦支援廣東話 prompt。不過佢冇索引全書內容,書庫問答主要靠 metadata 同模型本身識幾多,私隱同準確度都要睇清楚。

2 個月前
Ubuntu 同 Fedora 點樣擺 AI 入 Linux,開發者先係最直接受影響嗰班3C 產品

Ubuntu 同 Fedora 點樣擺 AI 入 Linux,開發者先係最直接受影響嗰班

Linux 發行版開始處理 AI 整合,Ubuntu 選擇用 Snap 包起本機模型同系統功能,Fedora 就研究獨立開發者桌面。兩邊都未打算硬塞雲端 AI 入現有系統,真正影響開發者嘅係模型點裝、硬件加速有冇人維護,同埋功能可唔可以完整移除。

2 個月前
5 秒錄音、普通 CPU 就複製把聲:Pocket TTS 令電話防騙規矩要改3C 產品

5 秒錄音、普通 CPU 就複製把聲:Pocket TTS 令電話防騙規矩要改

Pocket TTS 用普通 CPU 已經可以喺本機複製聲線。XDA 作者用 5 秒英文錄音試玩,成品相似度雖然只屬個人判斷,背後門檻降低卻好實在:冇雲端帳戶、API 限速同平台審查。家庭同公司都要改用獨立渠道核實身份。

2 個月前
MuckScraper 用本機 AI 合併重複新聞,自架前要預咗自己執設定3C 產品

MuckScraper 用本機 AI 合併重複新聞,自架前要預咗自己執設定

MuckScraper 會將多間媒體報道合併成同一單新聞,再用 Ollama 本機模型整理摘要。概念啱晒受夠重複標題嘅人,不過現階段仍似一套畀 homelab 玩家慢慢調校嘅開源工具,未去到裝完即用。

2 個月前
LM Studio Bionic 把本機開放模型變 Mac agent,私隱同效能點取捨3C 產品

LM Studio Bionic 把本機開放模型變 Mac agent,私隱同效能點取捨

LM Studio 推出獨立 Mac app Bionic,將本機開放模型由聊天工具推前一步,直接處理程式碼、PDF、簡報同試算表。方向幾實用,不過產品只屬初期預覽,Secure Cloud 收費、香港供應、sandbox 安全性同廣東話語音表現仍有唔少問號。

2 個月前
本機 AI 整理檔案點解仲輸雲端?模型、MCP 同圖片傳遞逐層拆解3C 產品

本機 AI 整理檔案點解仲輸雲端?模型、MCP 同圖片傳遞逐層拆解

XDA 作者用本機 Qwen 整理截圖,細模型亂報檔案數目,大模型又收唔到圖片;換 Claude 後先完成分類。呢個結果未足以證明 local LLM 輸硬,反而揭出模型、MCP、圖片傳遞同硬件每一層都可能出錯。

2 個月前
RTX 3060 五年後復活:12GB VRAM 吸引本機 AI,用嚟打機要睇價3C 產品

RTX 3060 五年後復活:12GB VRAM 吸引本機 AI,用嚟打機要睇價

Palit 為五年前嘅 RTX 3060 換上新卡身,12GB VRAM 正中本機 AI 用家痛點。不過佢欠缺 RTX 50 系列嘅 Multi Frame Generation,純打機亦慢一截;未有香港售價同保養資料之前,仲未判到抵唔抵。

2 個月前