KPMG AI 報告疑似中招:有 citation 都唔代表可信
Tech News

KPMG AI 報告疑似中招:有 citation 都唔代表可信

圖片:via Engadget — https://www.engadget.com/2193679/kpmg-paper-ai-hallucinations/
TechLab 編輯部(譯)·

公司用 AI 做 research,最危險係假引用變成真決策

件事有幾尷尬

KPMG International 2025 年 10 月出咗份《Total Experience: Redefining Excellence in the Age of Agentic AI》,本來係講企業點用 AI 改善客戶體驗。GPTZero 最近逐條查 citation 同 case study,話 45 個 citation 入面得 5 個準確指向真來源,28 個似係改寫咗真來源標題或混入假元素,另外 12 個太含糊。KPMG 已撤走報告,舊官方 PDF 連結目前回 404;公司同 The Register 講會審視出版流程,亦重申負責任用 AI 要有人手核對。

好笑位只係表面。KPMG 呢類 Big Four 報告平時會被 marketing、consulting、PM、vendor 拎去做 deck 同 RFP 佐證;Google 搜到、PDF 排版靚、有 footnote,就好自然變成「可信」。GPTZero 仲話部分錯誤已喺行業文章同 LLM 回答入面再出現。AI research 一旦食咗呢啲二手錯料,下一份簡報就可能再引用返佢,越洗越似真。

今次唔只係 citation 格式唔靚。GPTZero 指報告將 Emirates 嘅 Sara 講成手機 chatbot,仲話可以改機票;但 Sara 係 2023 年推出嘅機場機械人助理,唔係手機 chatbot,亦唔支援改 booking。The Register 同 CityAM 都提到 UBS、SBB、TfL、NHS Greater Manchester 等 case study,原來源未有支撐報告講到咁闊嘅 agentic AI 能力。KPMG 自己 2025 CEO Outlook 寫 71% CEO 視 AI 為首要投資之一,但涉事報告引用 55% 呢個數,連內部數字都對唔齊。

GPTZero 調查頁用嚟展示 KPMG AI 報告同引用問題嘅主圖

圖片:GPTZero

公司用 AI research 要點查

對公司最大教訓:AI 幫你搵資料可以,但唔可以畀埋佢做審稿。尤其用 ChatGPT、Codex、內部 agent 寫 pitch deck、market scan、PRD 或 tender response,第一關要拆開事實表:每個數字、公司個案、產品能力同日期各有一行,旁邊放原 URL、截圖日期同擁有人。第二關要開原文核,唔係睇 AI 摘要;citation 標題、作者、年份錯一格,都當紅旗。第三關先叫熟行同事睇結論有冇過度推論。

我會建議所有 AI research 交付物加一個「引用健康檢查」:

GPTZero 調查入面用到嘅 KPMG 大樓相關圖片

圖片:GPTZero

  • 來源存在:URL 可開,作者、年份、標題對得上。
  • 來源支持:原文真係支持你嗰句,唔係只係講近似題目。
  • 聲稱可追溯:對方公司有官方頁、press release 或可點名回應;冇就寫 [待確認]

呢件事唔代表公司要停用 AI 做 research。AI 做草稿、搵線索、整理表格都好有用。麻煩位係好多團隊將「有引用」誤當「已核實」。KPMG 呢次尷尬,對用 AI 做簡報嘅打工仔係好實際嘅提醒:任何會入客戶 deck、管理層 decision note、RFP、PRD 嘅資料,出街前要有人用眼同手逐條核。AI 可以慳時間,但唔可以代你承擔信譽。


參考來源

本文根據原文及公開資料整理;資料有出入時,以原文及官方資料為準。

分享:WhatsAppThreadsTelegramFacebook