AWS AgentCore 加入 Runtime Instances:AI agent 跑足幾日有代價
Tech News

AWS AgentCore 加入 Runtime Instances:AI agent 跑足幾日有代價

圖片:via iThome — https://www.ithome.com.tw/news/177996
TechLab 編輯部(譯)·

EC2、GPU 同持久儲存換嚟長工作階段,揀錯模式只會燒錢

AWS 幫 Amazon Bedrock AgentCore Runtime 加咗 Runtime Instances,開發者可以指定 EC2 類型,交畀 AgentCore 處理建立、修補、擴縮同停止。iThome 報道主力講工作階段最長 14 日;至於 Runtime Instances 對開發者最大嘅分別,就係 agent 可以用較固定、保留到檔案兼配備 GPU 嘅工作環境。

同原有 serverless Runtime 差喺邊

原有模式會為每個工作階段開一部獨立 microVM,上限 8 小時,啱晒客服對話、API 工具調用同幾十分鐘內完成嘅工作。佢啟動快,可以按需求擴展,計費亦睇實際 CPU 同 RAM 消耗;agent 等緊模型或外部 API、冇背景程序用 CPU 嗰段時間,AWS 話唔收 CPU 費。

Runtime Instances 就會喺客戶自己嘅 AWS account 開受管 EC2。開發者先用 capacity provider 定好 CPU 架構、instance 類型、VPC、儲存同 IAM,AgentCore 再負責底層管理。第一次叫起新工作階段要等 EC2 建立,速度自然難同 microVM 相比;換返嚟嘅係固定資源、完整 OS 存取,同一個工作階段可以跑幾日。

Amazon Bedrock AgentCore Runtime 管理介面,顯示新增嘅 capacity provider 分頁

圖片:AWS

真正啱用係重型 agent

呢個模式較適合會編譯大型程式、長時間掃描漏洞、操作 GUI、跑模擬、3D render、處理媒體,或者要喺本機做模型推理嘅 agent。AWS 支援 NVIDIA g4dng5g6g6egr6g6fgr6fg7e,亦有用 Inferentia2 嘅 inf2;GPU driver 由服務準備,container 毋須自己包埋 driver。

普通研究 agent、客服 bot 或大量短 API 工作,多數時間都喺等 LLM 同網上服務回應,繼續用 microVM 通常合理啲。為咗「可能有一單會跑幾日」而長開一部 GPU instance,好容易用貴價硬件等 token 慢慢生成,成本效益相當差。

14 日唔代表連續穩行 14 日

14 日係單次工作階段嘅最長生命週期,唔係正常運作保證。 到期後 AgentCore 會停止工作階段、終止 EC2,但保留掛載嘅 EBS volume。之後用返同一個 runtimeSessionId 呼叫,服務會開新 instance 再接回 volume;新機亦可能用咗較新嘅系統映像,所以記憶體內容、程序狀態同舊環境細節都唔可以當作仍然存在。

檔案保得住,只係復原工作嘅一部分。跑幾日嘅 agent 仍然要定期寫 checkpoint、記錄已完成步驟,工具操作亦要做到重試後唔會重複扣款、重複寄信或重複改資料。AWS 文件冇承諾工作遇上 instance 故障後可以原地無縫續跑,開發團隊要自己測試中斷、重試同重建流程。

多 agent 共機方便,隔離界線亦變咗

Runtime Instances 可以畀多個 agent 用同一個 capacity provider、工作階段 ID 同檔案系統。寫程式 agent 交出檔案後,測試同保安 agent 可以直接接手,慳返搬資料同同步 workspace 嘅功夫。每個 agent 仍用自己嘅 IAM execution role,但佢哋會共用主機、磁碟同 GPU,資源爭用同檔案權限要預先設計。

如果幾個 agent 來自唔同信任層級,或者其中一個會執行不可信程式碼,塞入同一部 instance 未必穩陣。較實際嘅做法係按風險同優先次序分 capacity provider,再為 CPU、RAM、GPU、磁碟空間同工作 queue 設上限,避免一個失控 agent 拖垮成組工作。

成本要睇成一張完整賬單

原有 Runtime 按活躍 CPU 同記憶體消耗收費;Instances 就要付 整部 EC2 嘅費用,再加 AgentCore 管理費。停止工作階段可以減少閒置運算開支,但保留下來嘅 EBS、數據傳輸、模型調用同 CloudWatch 紀錄仍可能各自收費。AWS 暫時冇喺發布文章列出統一管理費數字,實際預算要按地區、instance 類型同帳戶折扣再計。

好處係 EC2 跑喺自己 account,原有 Savings Plans、Reserved Instances 同 On-Demand Capacity Reservations 可以套落運算費。服務首批開放九個區域,亞洲有東京、新加坡、悉尼同孟買。準備採用嘅團隊,應該先用真實工作量比較 microVM 同 Instance 總成本,再做一次跨 instance 恢復測試,通過先交畀長時間 agent 使用。


參考來源

本文根據原文及公開資料整理;資料有出入時,以原文及官方資料為準。

分享:WhatsAppThreadsTelegramFacebook