AI agent 將雲端成本模式改寫：香港開發者要識 scale-to-zero

圖：TechCrunch．原文連結

AI agent 最麻煩嘅地方，唔係佢識唔識答問題，而係佢做嘢方式同真人完全唔同。一個真人喺網站搜尋，通常係打一兩個字、等結果、再逐頁睇；一個 agent 收到任務，可能即刻拆幾個 sub-agent，同一時間查產品資料、文件、CRM、ticket、向量索引，再 call 幾個 API。對香港 startup、SaaS 公司或者企業 IT team 來講，呢種 burst workload 會直接變成雲端帳單、rate limit、search backend 同網站 bot 流量壓力。

AWS 今次推出新一代 Amazon OpenSearch Serverless，重點就係針對呢種 agentic AI workload。OpenSearch 本來已經係搜尋、log analytics 同 vector search 常用選擇，新版本官方講法係可以由零即時擴展到大量 request，再喺閒置時縮返去 zero。AWS 亦聲稱新架構可以比按峰值預留容量嘅 cluster 慳最多 60% 成本，擴展速度快 20 倍，並同 Vercel、Kiro 等開發工具整合，方便用家唔需要自己管 cluster 都可以建立 agent 用嘅搜尋同 RAG backend。

呢個改動嘅核心唔係又多一個 AI 產品名，而係 compute 同 storage 拆開。舊式 search cluster 甚至上一代 serverless 設計，都有一部分容量要長期喺度等 request，因為 index、storage 同查詢能力綁得太實；新一代 OpenSearch Serverless 就將儲存同查詢／索引計算分離，compute 用 OpenSearch Compute Units 計，pricing page 亦寫明 NextGen collections 嘅 indexing 同 search OCU 喺閒置 10 分鐘後可以 scale to zero。換句話講，如果個 agent app 一日得幾段高峰，但其餘時間冇人用，成本模式就唔再係 24 小時養住一批 instance。

機器流量唔再係邊緣問題

TechCrunch 原文用一句講得幾準：以往雲端基建係為人類 click、scroll、stream 而設計，agent 係另一種生物。Cloudflare 向 TechCrunch 透露，過去六個月 bots 佔整體 HTTP traffic 31%，而 AI crawlers、search engines 同 assistants 大約佔 bot requests 四分之一；Cloudflare 產品負責人亦預測非人類流量有機會喺 2027 上半年超過人類流量。呢個只係公司預測，唔應該當成鐵定時間表，但用嚟做容量規劃已經夠有警號。

Cloudflare 自己喺 4 月亦講過，現時約三分之一流量屬 automated traffic，而 AI crawler 對傳統 cache 模型特別唔友善。真人流量通常集中喺熱門頁、熱門產品或者熱門文章，cache 容易命中；AI crawler 反而會大量並行掃長尾頁面、舊文章、文件頁、分類頁同 API endpoint。對香港內容站、網店同 B2B SaaS 來講，問題唔止係 bandwidth，而係 crawler 可能令 origin server、搜尋索引、database query 同第三方 API quota 一齊被拉高。

三種平台打法

AWS、Cloudflare、Vercel／Kiro 其實各自打緊 agent stack 唔同層。AWS 嘅 OpenSearch Serverless 係資料檢索層，主力處理 search、vector search、RAG retrieval 同 analytics，賣點係 backend 可以隨 agent 查詢量伸縮；Cloudflare Agent Cloud 就偏向執行環境，Dynamic Workers、Sandbox 同 workflow persistence 俾 agent 有短暫或持續嘅 runtime；Vercel 同 Kiro 則接近開發流程層，令開發者可以由 app framework 或 agent IDE 直接駁去可管理嘅搜尋 backend。三者唔係完全互相取代，而係反映 agent app 需要由前端、runtime、資料檢索到防 bot 一齊諗。

呢個趨勢亦解釋點解 Databricks、Snowflake、Microsoft Azure 都喺講 AI memory、企業資料檢索同 agent burst。企業唔會只用一個 chatbot；真正會貴嘅，係每次任務背後嗰串查詢、embedding、rerank、資料庫 join、第三方 API 同 audit log。Serverless 唔代表一定平，因為 cold start、資料傳輸、storage、indexing、query fan-out 同權限檢查都可以變成成本；但如果 workload 真係高度不穩定，長開 cluster 就好容易變成為空轉付費。

香港開發者點睇

香港角度最實際係 region、延遲同資料位置。AWS 早喺 2025 年 1 月已公布 Amazon OpenSearch Serverless 支援 Asia Pacific (Hong Kong) region；今次新一代 OpenSearch Serverless 官方 blog 就寫明會喺所有已支援 OpenSearch Serverless 嘅 AWS commercial Regions 推出。按兩份官方資料口徑，香港 team 有理由將 AP East (Hong Kong) 納入選項；不過正式上 production 前，仍然要喺 AWS console、regional service list 同帳戶可用功能再核對，特別係新功能有時會分批開放。

呢件事對本地公司唔係「香港有冇 AI」咁空泛，而係 RAG backend 可唔可以放近香港或亞洲客戶資料。金融、醫療、教育、會員制零售同 SaaS 公司如果要做內部知識庫、客服 agent、銷售助理或者合約搜尋，search index 同向量索引通常會含客戶資料、文件片段、權限 metadata。放近本地可以改善延遲同資料 residency 討論，但唔會自動解決合規；實際仍要睇資料分類、加密、存取權限、log retention、DPA 同公司內部審批。價格亦要用官方 calculator 同實際 region rate 重算，唔好用美國 region 例子當香港成本。

對細 team 嚟講，scale-to-zero 最有價值嘅場景通常係「突然有用、平時冇乜用」。例如內部 agent 每朝幫同事整理 ticket、每晚掃文件、客戶開 chat 時先做 RAG、或者 marketing campaign 期間大量問產品庫。以前你可能要預留一個 vector search cluster，冇人查都要畀錢；而家可以考慮用會縮到零嘅 search backend，再配合 queue、cache 同 concurrency limit。相反，如果你係高流量電商搜尋，每秒都有查詢，scale-to-zero 未必係主要收益，穩定吞吐、索引更新同延遲反而更重要。

建 agent app 前，先控成本同壓力

• 先畫出 fan-out：唔好只計一個 user request，要計一次 agent 任務會拆幾多步、查幾多個 index、call 幾多個 API、會唔會重試。將 user、agent、sub-agent、tool call 全部加 trace id，否則出事時只會見到帳單升咗。

• 為 agent 設 budget 同上限：每個任務要有最大 tool call 次數、最大 token、最大查詢數、timeout 同重試策略。OpenSearch Serverless 可以設 max OCU 控成本，app 層亦要設 per-user、per-tenant、per-agent concurrency limit。

• cache 唔好只為真人頁面做：熱門文章 cache 幫唔到掃長尾頁嘅 AI crawler。內容站同網店要考慮 query cache、semantic cache、API response cache、robots policy、Cloudflare bot rule，同埋將 crawler 入口同真正交易 API 分開保護。

• 唔好所有資料都即時 vector search：FAQ、產品規格、價格、庫存、權限資料未必全部適合塞入同一個向量索引。可以用 keyword search、metadata filter、SQL lookup、RAG retrieval 分層，避免 agent 每次都做最貴嘅查詢。

• 將 background job 同即時回答分開：文件 indexing、embedding、批量更新、rerank 可以放 queue 或排程，唔好全部塞喺用家等緊回答嗰條 request 入面。咁做可以令前台 latency 穩定，亦方便用 serverless backend 喺閒置時縮返落去。

• 將 bot traffic 當營運問題：AI crawler 唔一定係壞事，搜尋同 AI assistant 引流可能有價值，但冇限制就會變成成本。網站要睇 Cloudflare Radar、origin log、search query log 同 API quota，分清楚人類、search engine、AI crawler、合作伙伴同濫用流量。

今次 AWS OpenSearch Serverless 升級，表面係一個雲端產品 launch，實際係提醒大家：agent app 嘅成本中心已經由模型本身，擴展到資料檢索、工具調用、bot 防護同 runtime 管理。香港 team 如果而家先開始做 AI workflow，唔應該預設用長開 instance 扛晒所有查詢；應該先量度 agent fan-out，再決定邊啲部分要長駐、邊啲可以 scale-to-zero、邊啲要被 rate limit。未來網上唔會只係人睇網站，亦會有更多機器替人查資料同做決定；雲端架構要跟住改，否則第一個爆嘅未必係系統，而係成本表。

參考來源

• TechCrunch — The internet is being rebuilt for machines — original report
• Introducing the next generation of Amazon OpenSearch Serverless for building your agentic AI applications — AWS 官方 launch，核對 scale-to-zero、60% 成本說法、20x scaling、Vercel/Kiro 整合同 region 口徑。
• Amazon OpenSearch Serverless now available in Asia Pacific (Hong Kong) region — AWS 官方香港 region availability 來源。
• Amazon OpenSearch Service Pricing — 核對 NextGen Serverless OCU、閒置 scale-to-zero、compute/storage 分開計費等 pricing 細節。
• Rethinking cache for the AI era — Cloudflare 官方背景，解釋 AI crawler 對 cache、origin 同 automated traffic 嘅壓力。
• Cloudflare expands Agent Cloud platform to enable businesses to build, deploy, and scale AI agents — Cloudflare Agent Cloud 官方公告，提供 Dynamic Workers、Sandbox 同 agent runtime 背景。
• Cloudflare Radar AI Insights — Cloudflare 官方 AI crawler / bot traffic 觀察入口，用作行業脈絡參考。

本文根據原文及公開資料整理；資料有出入時，以原文及官方資料為準。