Pixel 10 TPU 跑 Gemma 4 E2B：離線聊天睇相同 agent 先交畀開發者試
Google 補上 Tensor G5 公開工具鏈，完整功能仲要靠 app 做出嚟
Google 今次其實出咗咩
Google 喺 I/O Connect India 公布 Gemma 4 E2B for TPU，支援 Pixel 10、10 Pro、10 Pro XL 同 10 Pro Fold。Gemma 4 四月已經亮相，今次新增重點落喺 Tensor G5 專用 build：Google 把 model 預先編譯成 Pixel TPU 食得到嘅格式，再配合 LiteRT-LM 同 Tensor SDK，開發者先可以真正用到晶片入面嗰粒 AI 加速器。
圖片：Google Developers Blog
點解細 model 可以塞入手機
E2B 個 E 指 effective parameters。Google model card 列出 2.3B effective parameters，計埋逐層 embedding 就有 5.1B；量化後，通用 LiteRT-LM 文字版本嘅 weight footprint 最低約 0.8GB，視覺同聲音部分就會喺用到嗰陣先載入。至於 Tensor G5 預編譯檔，公開 repo 顯示約 3.1GB。呢個檔先用 AOT compiler 針對 G5 編好，app 跑嗰陣再經 LiteRT dispatch library 交畀 TPU，亦可以設定 CPU 或 GPU fallback。
圖片：Google Developers Blog
三種離線能力，加一個易混位
Google 展示咗 AI Chat、Ask Image 同 Audio Scribe：文字對話、相片辨認、錄音轉文字都可以喺冇網絡時處理，前提係 model 同所需檔案已經下載好。Agent Skills 就示範旅行規劃、食譜同家居控制。不過開 Wi-Fi、叫地圖呢類 Mobile Actions 用嘅其實係另一個 FunctionGemma 270M。成套 demo 由幾個 model 合作；model 負責揀 function 同填參數，真正執行手機操作、處理權限同錯誤，仍然要靠 app code。
圖片：Google Developers Blog
「100% 私隱」只適用於本機推論
Google 用「100% private」形容呢套體驗。就推論路徑而言，只要所有檔案已經準備好，prompt、相片同錄音確實可以留喺手機，亦冇雲端來回延遲。不過呢句唔包 model 下載、app 更新、權限管理同開發者自己加落 app 嘅連網功能。Tensor SDK 可以完全離線運行，但實際產品係咪全程都唔連網，就要逐個 app 睇。
Pixel 10 用家今日可以做到幾多
想自己玩，可以用仍處於開發階段嘅 Google AI Edge Gallery，再匯入公開嘅 G5 model；官方示範入面嘅 Mobile Actions 亦清楚標住 Experimental。想整正式 app 就麻煩得多：Tensor SDK beta 要填公司、職位、工作電郵、Google Cloud project 同用途，等 Google 批出 compiler plugin，之後仲要處理 LiteRT runtime、TPU dispatch library 同 Play AI Packs。官方公告冇話會替 Pixel 10 自動加一個完整離線 Gemini，亦冇交代現有系統功能幾時轉用呢個 build。
點解 Google 而家先大講 TPU
呢個時間點其實有背景。Beebom 四月用 AI Edge Gallery 測 Pixel 10 Pro Fold，當時只揀到 CPU，Gemma 4 E2B 解碼速度係 10.42 token/s，首個 token 要等 1.65 秒；同一測試入面，iPhone Air 用 GPU 有 51.28 token/s。嗰次係舊軟件路徑，唔可以當成今次 TPU build 嘅跑分，但就清楚暴露咗問題：Tensor G5 有 TPU，第三方 app 卻用唔到。Tensor SDK 五月升上 beta，七月初嘅 v1.02 再加入多模態 chatbot sample、G5 預編譯 model 同穩定性修正，今次發布算係打通咗成條公開工具鏈。新 TPU build 暫時未見獨立速度、耗電同發熱測試，官方所講嘅效能仲要等人驗證。
香港同廣東話仲未講清楚
G5 預編譯 model 放喺公開 Hugging Face repo，冇登入 gate，授權亦標示 Apache 2.0；Tensor SDK compiler 就仍然要申請。Google 冇公布香港能否獲批 beta，AI Edge Gallery 有冇地區限制亦冇清楚資料，兩項都係 [待確認]。語言方面，Gemma 4 話預訓練涵蓋 140 多種語言、開箱支援 35 種以上，但官方冇逐項確認廣東話文字理解同粵語錄音轉寫，實際效果同樣係 [待確認]。下一步要等新 TPU 跑分、粵語測試，同埋採用呢套 SDK 嘅正式 app 上架。AI 內容聲明：本文由生成式 AI 協助撰寫。
參考來源
- 9to5Google — Google announces Gemma 4 optimized for the Pixel 10’s TPU — original report
- Unlocking the Next Era of On-Device AI with Google Tensor and Pixel — Google 第一手公告，確認支援裝置、離線示範、FunctionGemma 同 Tensor SDK 資源。
- Gemma 4 — Google DeepMind — 核對 Gemma 4 定位、多模態能力、語言範圍同官方 benchmark 聲明。
- Google Tensor: On-device AI with LiteRT — 確認 Tensor SDK beta、model 編譯、部署流程同 TPU 用途。
- Tensor SDK Beta release notes — 確認 v1.02 加入多模態 chatbot sample、Tensor G5 預編譯 model 同修正。
- google/gemma-4-E2B-it model card — Google 官方 model card，核對 effective parameters、modalities、語言同架構資料。
- Gemma 4 E2B LiteRT-LM model repository — 確認公開 model、LiteRT-LM 格式、量化方式同 Tensor G5 專用檔。
- I Tested On-Device AI on Android and iPhone and the Results Weren’t Even Close — 提供 TPU 版本推出前嘅獨立 Pixel 10 測試，交代公開工具鏈原先嘅缺口。
本文根據原文及公開資料整理；資料有出入時，以原文及官方資料為準。
