AI 連一道門都出唔到：Pokémon 實驗揭開 agent 長任務死穴

一道門，困住兩套 AI

睇本地 LLM，大家好容易先望每秒出到幾多 token。不過 XDA 作者 Joe Rice-Jones 今次用《Pokémon Red》試 agent，結果幾直白：生成得快，唔代表可以連續做啱幾百步。 佢喺 AMD Ryzen AI Halo 上跑一個量化至約 17GB、支援視覺嘅 Qwen3.6-27B，再用同一套 Pokémon Agent 接駁經 Codex CLI 使用嘅 GPT-5.6 Sol，目標係鬥快去到第一場道館戰。兩邊都未成功，真正攔路嘅仲只係一道門。

本地 Qwen 識補鑊，但好快失去方向

按 XDA 作者記錄，Qwen 一見標題畫面就話自己身處 Pallet Town，仲開始行去 Professor Oak 間研究所，第一步已經幻覺。不過佢發現移動指令冇令角色郁過，又推斷遊戲可能未開始，識得撳 A 補救。呢個短回合至少反映，呢套本地模型識得按動作結果修正判斷。可惜之後佢行到房內部 SNES 前面，兜咗約 20 分鐘；最後做過 164 次思考、撳咗 371 次掣，連初始 Pokémon 都未攞到。

GPT 行得遠好多，最後照樣困死

GPT-5.6 Sol 開局明顯順好多。作者話佢第 112 個回合揀到 Squirtle，第 234 個回合以剩低 7 HP 打贏對手，到第 672 個回合抵達 Viridian City。不過角色入咗 Pokémon Center 之後，agent 就認定出口行唔通，成晚重複三步繞圈；去到 2,072 次動作，成績仍然係一隻 Pokémon、零徽章。短時間規劃同戰鬥做得好，冇保證系統遇到一次錯誤觀察之後識得停低、驗證同轉策略。

地圖講大話，模型就當咗真

NousResearch 嘅 Pokémon Agent 用無畫面 emulator 跑遊戲，再將 RAM 讀到嘅角色位置、物品、對戰狀態同 collision map 經 API 交畀模型；官方 repo 更形容 collision map 係「ground-truth navigation」。偏偏作者今次發現，門口同樓梯格俾系統標成唔可以行。未初始化記憶體又會錯報角色已經身處 Pallet Town，畫面上跟角色移動嘅置中格線亦容易俾 agent 當成固定位置。模型收到一套自稱可靠、實際有錯嘅環境資料，跟住錯資料規劃再耐都只會行錯。

有眼睇，未代表識得覆核

更值得拆嘅係，Qwen 首次嘗試曾經靠視覺認出樓梯，無視 collision map 行出睡房；GPT 嗰次就繼續相信地圖。呢個差異唔足以證明 Qwen 視覺勁過 GPT，因為兩次運行嘅 prompt、量化、模型設定同工具路徑未必對等。佢反而暴露咗 agent 架構欠缺一套清楚覆核規則：畫面見到出口、座標冇變、collision map 又話行唔通時，應該試一步、重新截圖，定係直接相信結構化資料？如果系統冇機制處理感測資料衝突，就算模型睇到畫面，亦未必會用視覺結果修正判斷。

記得攻略，有時會掩住 grounding 問題

兩個模型都好似由訓練記憶抽出《Pokémon Red》攻略。GPT 未經遊戲提示已經知道要向 Pallet Town 北面草叢行，觸發 Oak 劇情；Qwen 亦嘗試引用類似路線，不過記錯成要去 Viridian City 搵 Oak。呢類知識會令 agent 開頭睇落好醒，但同眼前畫面對唔上時，就可能越行越偏。HORIZON 嘅長任務研究同 EnvTrustBench 都指向相近風險：步驟拉長之後，錯誤會累積，而 agent 若果冇核對環境證據，容易沿住假狀態一路做落去。

呢次實驗唔係模型排行榜

呢次只係單一作者、少量運行，硬件、量化、prompt、推理設定同工具接駁亦冇完全控制，唔可以用嚟判定本地 Qwen 同 GPT-5.6 Sol 邊個整體更好。較穩陣嘅結論係，agent 實際做到幾多，會同時受模型、記憶、視覺、狀態讀取器同驗證機制影響。 對想喺個人電腦跑 agent，或者用 Codex CLI 做長任務嘅開發者，下一步值得量度嘅除咗速度，仲有錯誤資料注入後識唔識發現、重試幾多次先停，同埋可唔可以由畫面或實際動作結果推翻舊判斷。

參考來源

• XDA Developers — Pokémon Red's most brutal obstacle isn't a gym leader — it's a doorway that broke my AI — original report
• NousResearch Pokémon Agent — 官方 repo，交代 headless emulator、RAM 狀態讀取、collision map、視覺截圖同 API 架構。
• Lemonade Server Models — 官方文件，確認 Qwen3.6-27B-GGUF 支援視覺同工具調用，亦列出量化模型資料。
• GPT-5.6: Frontier intelligence that scales with your ambition — OpenAI 官方資料，確認 GPT-5.6 Sol 嘅定位同 Codex 供應情況。
• The Long-Horizon Task Mirage? Diagnosing Where and Why Agentic Systems Break — 長任務 agent 背景研究，分析模型喺互相依賴嘅多步任務中點樣隨步驟增加而退化。
• When Agents Overtrust Environmental Evidence — 研究 agent 過度相信錯誤、過時或有問題嘅環境證據，直接對應今次 collision map 故障。

本文根據原文及公開資料整理；資料有出入時，以原文及官方資料為準。