一個 HTML 測試看 Claude Code 替代品:重點在驗證方式
3C 產品

一個 HTML 測試看 Claude Code 替代品:重點在驗證方式

TechLab 編輯部(譯)·

XDA 作者以同一段 prompt,要求 Claude Code、Codex、Antigravity 與 OpenCode 製作可離線使用的單一 HTML 跑分紀錄工具。結果中,Claude Code、Codex 及 Antigravity 均通過六項功能檢查;本地運行的 OpenCode 則通過四項。這對考慮 coding agent 的開發者有參考價值,但不能據此判定哪個模型或產品全面較強:測試只有一個任務、一次生成,而且每項工具所用模型與執行環境也不同。

測試任務要求工具毋須帳戶、server 或網絡,並在瀏覽器內保存資料;它要記錄遊戲、設定與平均 FPS、標示最快紀錄、以第一個選取項目作比較基準、刪除紀錄,以及在重新整理後保留資料。作者沒有追加 prompt 或修正指示,因而較接近「一次交付能否直接使用」的情境,卻未能反映較長專案、除錯往返及不同程式語言的表現。

結果反映的,是整套工作流

按 XDA 的記錄,Claude Code 採用 Sonnet 5.5,耗時 2 分 14 秒並通過 6/6 檢查;Codex 使用 GPT-5.6 Terra,耗時 2 分 42 秒,同為 6/6;Antigravity 使用 Gemini 3.8 Flash,耗時 3 分鐘,亦為 6/6。作者稱後兩者在其測試中使用免費層級可提供的最佳模型;Claude Code 則沒有免費層。

Antigravity 生成近 1,976 行程式,比其餘三項約 400 行的平均值長得多,加入搜尋、篩選、排序、統計列及互換比較基準等未被要求的功能,並自行作語法與邏輯檢查。Codex 則較貼近原 prompt,產出後作語法檢查,但作者稱它沒有像 Claude Code 一樣在瀏覽器開啟頁面測試。這些差別說明,使用者選擇的其實不只是模型能力,也包括 agent 預設會否自行驗證、會否擴大功能範圍,以及由此帶來的時間與程式複雜度。

OpenCode 的設定最突顯私隱與離線取捨:作者在自己的 RTX 4070 Ti Super 上,透過 llama.cpp 運行 Qwen3.6-35B-A3B,約 1 分 42 秒完成。輸出是一個精簡、可離線運作的 logger,但比較兩筆結果時把清單位置較低的 FPS 當成基準,而非使用者先點選的紀錄。例如先選 120 FPS、再選 100 FPS,工具仍把 100 FPS 視作基準,報出 20% 增幅,而非相對 120 FPS 的 16.7% 下跌。作者指出,這種錯誤只會在某些輸入與點選次序出現,初步試用未必容易發現。

成本、私隱與可重現性應分開衡量

這次比較可帶出三個實際判斷方向。第一,免費層級能否完成小型日常任務,與訂閱成本是否值得,應以自己的工作量、限制與失敗成本衡量;原文沒有提供各方案的價格或配額細節,不能從這次結果推算長期成本。第二,本地模型可讓整個生成流程留在自己的硬件上,並可配合完全離線的產物;相對地,使用者須自行承擔 GPU、模型設定與輸出驗證。第三,自我檢查不等於功能正確:OpenCode 的基準錯誤正好顯示,驗收要刻意覆蓋邊界情況。

若要把這類比較變成可重現測試,較合理的做法是固定同一模型後比較不同 agent,或固定同一 agent 後更換模型;再以多個任務、重複運行及明確驗收案例記錄結果。尤其應加入不同輸入順序、資料保存、錯誤處理和實際執行測試,並分開記錄生成時間、人工修正時間及是否需要傳送程式碼到雲端。

XDA 的結果較能支持一個有限結論:在這個單頁離線工具任務上,Codex 與 Antigravity 的一次交付表現可與 Claude Code 相近;本地 OpenCode 則提供離線路徑,但需要更嚴謹驗證。下一步值得觀察的,是不同 agent 在相同模型、相同驗收集下,能否維持這個差距。

延伸閱讀

AI 輔助說明: 本文由 AI 協助整理,並經兩輪獨立自動品質審核;資料及連結仍以原始來源為準。


參考來源

本文根據原文及公開資料整理;資料有出入時,以原文及官方資料為準。

分享:WhatsAppThreadsTelegramFacebook