Arena 由 AI 排行榜變生意，年化收入速度達 $100M：揀模型唔好淨睇名次
人類投票好有用，但商業化之後要睇清透明度同用途界線
$100M 生意係點嚟
TechCrunch 報道，Arena 按當時收入速度推算嘅年化收入（annualized run-rate revenue）已到 $100M；距離佢 2025 年 9 月公開推出 AI Evaluations 未夠一年，官方文同 TechCrunch 都用八個月形容呢段增長。呢間公司源自 2023 年 UC Berkeley Chatbot Arena，玩法好簡單：你打 prompt，系統畀兩個匿名模型回答，你投邊個好，投票累積成 leaderboard。Arena 自己同日 blog 話平台有 10M+ monthly visitors、700M+ conversations 同 82M+ votes；公開排行榜暫時仍然免費。
但呢個 $100M 要拆開睇。TechCrunch 寫得好重要：CEO Anastasios Angelopoulos 澄清，Arena 按用量（consumption）收費，唔係傳統 SaaS 嗰種每月續訂嘅經常性收入（recurring revenue）。所以呢個 $100M 唔等同已經鎖定嘅年度經常性收入（ARR），實際收入會視乎企業同模型公司買幾多評測用量。投資人會覺得呢盤生意增長好快；但用 leaderboard 揀模型嘅人，更要留意 Arena 而家同被評嘅模型公司有商業關係。
圖片：Arena Blog
點解大家會信 Arena
傳統 benchmark 好多都係固定題庫：MMLU、coding test、數學題，答中就有分。問題係 LLM 已經唔止用嚟答選擇題，真正難判斷嘅位係長文、coding helper、圖片理解、客服語氣同工具調用。Arena 嘅價值係用開放式 prompt 收人類偏好投票。呢種方法唔會話你模型有幾「真」，但佢好快反映普通人覺得邊個答案順眼、完整、肯跟指示。
LMSYS 當年講，Arena 用匿名、隨機 pairwise battle 收票，最初用 Elo，之後改用 Bradley–Terry 估算勝率同 confidence interval。官方 policy 寫明，公開模型最少要有 1,000 票、分數穩定先上榜；未公開模型可以匿名測，但正式上榜要符合公開 API、open weights 或者 public service 等條件。呢啲細節唔係裝飾，因為排名可信度要靠樣本、抽樣同更新紀錄撐住。
圖片：Arena Blog
商業化之後，信任成本會高咗
商業化最敏感嘅位喺度：Arena 一邊營運大家引用嘅排行榜，一邊收模型公司同企業嘅評測錢。呢個結構本身唔等於有利益問題，但信任成本會高過以前。2025 年 4 月，TechCrunch 報道過有研究團隊批評 LM Arena 嘅 pre-release testing 可能令大公司有機會試多個 variant，Arena 當時否認指控。Arena policy 而家用 preliminary tag、公開模型條件、sampling rule 同 changelog 去補透明度。
要講清楚，暫時冇公開證據證明 $100M 生意令排行榜偏向客戶；但一個評測平台越有影響力，就越要接受密啲嘅審視。尤其而家模型公司會拎 Arena 名次放入發布文、投資人 deck 同採購簡報，名次已經唔淨係面子，會影響 API 試用、budget 同 roadmap。商業化本身冇問題，不過規則同改動要交代得更清楚。
揀模型要點用排行榜
對香港開發者、startup 同公司 IT，Arena 最啱用嚟做第一輪篩選，唔好當成最後答案。你可以先睇相近任務：寫 code 就睇 Code/WebDev 或者 Agent Arena，做客服就睇 text 同長對話，做設計就睇 image/editing 榜。跟住攞自己真 prompt、資料格式、繁體中文同粵語輸入、延遲、價格同資料合規一齊試。排名第一，如果你個 workflow 成日要讀 PDF、調用內部 tool 或者處理廣東話，未必贏你自己嘅 case。
Arena 今次值得睇嘅位，係 AI 評測已經由學術項目變成基建生意。傳統跑分會俾人刷題，純人手評測又慢；Arena 用人類投票補到傳統跑分同人手評測之間嘅空位，但仍然有樣本偏差、prompt 分佈、投票質素同商業誘因呢啲問題。下次見到模型廠話自己「Arena 第一」，最實際嘅反應係：睇日期、睇 category、睇 confidence interval，跟住自己試一輪。
參考來源
- TechCrunch — Arena, the AI leaderboard everyone uses, is now a $100M business — original report
- $100M in eight months: thank you — Arena 官方同日文章，確認 10M+ monthly visitors、700M+ conversations、82M+ votes 同 Agent Mode 數字。
- New Product: AI Evaluations — Arena 官方商業產品發布文，確認 AI Evaluations 定位、評測內容同中立承諾。
- Arena Leaderboard Policy — 官方政策，確認公開模型、未公開模型、sampling、資料分享同 leaderboard 上榜規則。
- Leaderboard Changelog — 官方 changelog，確認模型加入、方法更新同 preliminary tag 等變動有公開紀錄。
- Chatbot Arena: Benchmarking LLMs in the Wild with Elo Ratings — 早期方法來源，解釋匿名 pairwise battle、Elo、用戶投票同傳統 benchmark 差別。
- Chatbot Arena: New models & Elo system update — 方法更新來源，確認由 Elo 轉向 Bradley–Terry 同 confidence interval 估算。
- Study accuses LM Arena of helping top AI labs game its benchmark — 背景爭議來源，整理研究團隊對 pre-release testing 嘅批評同 Arena 回應。
本文根據原文及公開資料整理；資料有出入時，以原文及官方資料為準。
