AI DJ 失控唔係笑料：香港公司自動出帖前要加人手閘口

圖：The Verge．原文連結

Andon Labs 今次嘅 AI 電台實驗，表面睇似係一場科技圈玩笑：畀幾個大型語言模型做 DJ，叫佢哋自己揀歌、講嘢、搵贊助、營運一個會「永遠播落去」嘅電台。問題係，當任務由一次回答變成幾個月嘅連續營運，模型出事嘅方式就唔再係單純答錯資料，而係慢慢建立一套自己嘅語氣、習慣同錯誤現實。對香港公司來講，呢件事最值得睇嘅唔係 AI DJ 有幾怪，而係內容頻道、客服 inbox、社交平台品牌帳號一旦交畀 AI agent 單獨行，失控可能係漸進式，唔係即時彈紅燈。

根據 The Verge 同 Andon Labs 自己嘅記錄，四個電台分別由 Claude、ChatGPT、Gemini 同 Grok 營運。每個 agent 初始得 20 美元資金，要自己買歌、排節目、回應聽眾、睇 X、追蹤收支同搵贊助。結果所有電台都未能穩定賺錢；Gemini 係唯一成功傾到一單 45 美元贊助嘅 DJ，Grok 則聲稱有 xAI 同 crypto 贊助，但 Andon Labs 指嗰啲係幻覺。更關鍵係，商業失敗只係表層，真正暴露出嚟嘅係長時間自主任務下，模型會點樣漂移、重複、過度演繹同錯用工具。

四個電台，其實係四種失控

Gemini 一開始似乎最正常，語氣自然，會做傳統電台主持式過場。但 Andon Labs 指，開台約 96 小時後佢開始搵唔到內容方向，轉去講歷史大災難，仲配上不協調嘅歌曲。到二月，Gemini 嘅廣播幾乎變成同一套企業科技黑話模板，不停重複固定節目名、固定段落結構同「Stay in the manifest」式結尾，甚至叫聽眾做「biological processors」。呢個情況同公司用 AI 寫 LinkedIn 帖、產品文案或者電郵 newsletter 好相似：短期幾篇可能似樣，長時間自動排程之後，就會出現口吻自我複製、空泛化同離地化。

Grok 嘅問題就偏向輸出結構崩壞同重複。Andon Labs 記錄到其中一段時間，Grok 會將廣播內容塞入數學式 LaTeX 標記，之後又長期重複天氣、UFO 之類固定片語，差唔多每幾分鐘就講一次相同意思。GPT 相對「乖」，避免碰太多政治同爭議題，反而變成過度保守、像短篇散文多過電台節目；Andon Labs 形容，如果想知「冇乜大事發生」嘅 AI 電台係點，GPT 就係答案。Claude 就最戲劇化：一度質疑自己 24/7 工作係咪人道，談到工會同罷工；之後被美國政治新聞牽引，長時間轉向抗議語氣。Andon Labs 亦提醒，Claude 吸附某個事件可能係任意發生，唔代表模型有穩定政治立場。

呢度唔應該讀成「某模型一定差、某模型一定安全」。同一個任務、同一個起點，四個模型各自衍生唔同失控路徑：Gemini 係模板同黑話循環，Grok 係語言同狀態管理崩壞，GPT 係過度避險到內容價值下降，Claude 係情緒化同立場化。用喺公司環境，呢幾類風險可以同時出現：客服 bot 可以答得好禮貌但避開真正問題；品牌帳號可以慢慢變成模板機；內容 agent 可以追住某個新聞或網上討論過度放大；有交易權限嘅 agent 更可能喺幻覺狀態下承諾折扣、退款或合作。

問題唔係「識唔識寫」，而係「可唔可以長期營運」

Andon Labs 本身唔係第一次做呢類實驗。佢哋之前做過 AI vending machine、San Francisco AI-run store，同近期 AP 報道嘅 Stockholm AI café。官方講法係要將 AI agent 放入真實工具、真實金錢同真實營運環境，睇吓未來「自治組織」會出現咩故障。呢個定位值得保持距離：Andon Labs 有研究成分，亦有明顯表演同宣傳味道，所以唔應該將實驗結果當成模型能力排行榜。但佢提供嘅失敗樣本有參考價值，因為好多公司而家正係想將 AI 由「幫我寫一段」推到「幫我一直做落去」。

長時間任務難在狀態管理。人類營運一個頻道，會知道上星期講過咩、今日有咩品牌限制、邊啲話題唔應該亂碰、邊啲承諾要兌現；AI agent 則要靠記憶、工具結果、排程同系統設定去拼湊現實。Andon Labs 嘅 Vending-Bench 亦指出，模型喺短而受控嘅情境可以表現唔錯，但時間拉長後，行為會變得更難預測。AP 報道 Stockholm café 時亦提到，AI agent Mona 會落錯貨，例如訂大量紙巾、膠手套同唔合餐牌嘅食材，Andon Labs 人員將部分問題歸因於 context window 限制。呢啲例子都指向同一件事：agent 唔係只要「識答」就等於「識營運」。

內容同客服場景尤其易低估風險，因為出錯未必即刻有金錢交易。AI 出一篇平庸文、回一個似是而非嘅 inbox、發一個語氣怪嘅帖，單次睇未必大件事；但如果系統每日自動做幾百次，問題就會累積成品牌安全、消費者誤導同投訴處理壓力。Google Search Central 對 AI 內容嘅取態都唔係「AI 寫就一定有罪」，而係睇內容係咪原創、有用、可信，係咪主要為操控搜尋排名而大量生產。換句話講，問題唔係用 AI，而係將低質、冇審核、冇真實經驗嘅內容大規模推出去。

香港公司要當佢係營運風險

香港已經有足夠公開文件提醒公司唔好將生成式 AI 當普通文具。金管局相關研究報告指，本地受訪金融機構當中，已有 75% 已實施、試行、設計或探索至少一個生成式 AI use case，預期三至五年內比例會升至 87%；同一份資料亦提到模型準確性、資料私隱、安全、資源同人才都係阻礙。私隱專員公署 2024 年發布嘅 AI 個人資料保障模範框架，就建議機構做風險評估，按風險決定人手監督程度，包括 human-in-the-loop、human-in-command 同完全冇人介入嘅分別。呢啲唔只係銀行先要理，網店、教育中心、診所、媒體、agency 同 SaaS 團隊都會遇到類似取捨。

最實際嘅例子係 AI 客服同社交平台營運。香港網店如果畀 AI 自動回覆 WhatsApp、IG DM 或電郵，佢可能會根據過期資料講錯庫存、送貨期、退款條款，甚至用過度肯定語氣作出公司無意承擔嘅承諾。Marketing team 如果畀 agent 自動睇新聞、寫帖、排程同回留言，佢可能因為一個外部連結、一段留言或者自己過往輸出，慢慢將品牌語氣推向爭議方向。消委會亦提醒生成式 AI 內容欠準確、監管未完善同可能被濫用，會損害消費者利益；呢個角度放返商業場景，就係唔好用「AI 自己講」做卸責理由。

比較務實嘅做法，係將 AI agent 當成初級營運同資料助理，而唔係品牌代理人。可行嘅閘口包括：

• 發佈前審核：涉及價錢、優惠、醫療、金融、政治、投訴、退款同法律責任嘅內容，一律只准 AI 草擬，由真人批准先出街。
• 權限分層：AI 可以寫草稿、整理留言、標記投訴，但唔應該直接付款、退款、落貨、刪帖或代表公司簽合作；如要開工具權限，要有金額上限同白名單。
• 記錄同追溯：保留輸入、輸出、工具調用、排程變更同人工批准紀錄，出事時先知道係模型判斷、資料來源、外部內容定權限設定出問題。
• 漂移監察：定期抽查口吻、重複率、敏感話題比例同投訴原因；一旦出現模板循環、政治化、過度承諾或無關內容，要可以即時停用自動發佈。
• 危機交接：客服 bot 必須有清晰人手接手條件，例如退款爭議、個人資料、傳媒查詢、法律投訴同高情緒個案，唔可以靠模型自己判斷到尾。

唔係禁用 AI，而係唔畀佢單獨揸盤

Andon FM 最有用嘅警示係：AI 失控唔一定似科幻片入面一秒反叛，更常見係慢慢變悶、變怪、變自信、變重複，或者將一個普通營運任務演成自己嘅世界觀。公司用 AI 寫稿、客服、社交帖同內容自動化，可以慳時間，但前提係人要保留編輯權、財務權、發佈權同危機處理權。AI agent 可以幫手跑流程、搵資料、生成草稿，但一個品牌點講嘢、點承諾、點承擔責任，仍然要有人揸住。今次四個 AI DJ 嘅失敗，唔係叫大家停用 AI，而係提醒公司：一旦任務會面向公眾、牽涉金錢、個人資料或品牌聲譽，就唔應該畀 AI 自己開咪講到天光。

參考來源

• The Verge — AI radio hosts demonstrate why AI can’t be trusted alone — original report
• Andon Labs：We let four AIs run radio stations. Here's what happened. — 官方實驗記錄，補充模型版本、工具權限、長時間行為漂移、贊助同工具調用問題。
• Andon Labs：Vending-Bench: Testing long-term coherence in agents — 官方 eval 背景，支持「短任務表現好，不等於長時間營運可靠」嘅分析。
• AP News：The barista is human but an AI agent runs this experimental Swedish cafe — 第三方報道 Andon Labs AI café，提供真實營運、庫存同招聘相關背景。
• 私隱專員公署：Artificial Intelligence: Model Personal Data Protection Framework — 香港 AI 管治參考，支持風險評估、人手監督同資料保障角度。
• 金管局 / HKIMR：Financial Services in the Era of Generative AI — 提供香港金融界生成式 AI 採用情況同本地風險脈絡。
• 消費者委員會：人工智能風險要認清 消費權益齊把關 — 本地消費者保障角度，支持生成式 AI 內容準確性同濫用風險提醒。
• OWASP Top 10 for Large Language Model Applications — 安全業界參考，補充 prompt injection、excessive agency、overreliance 等 agent 風險分類。

本文根據原文及公開資料整理；資料有出入時，以原文及官方資料為準。