arXiv 對 AI 假引用落重手:用 AI 寫技術文檔前要補返核對工序
Tech News

arXiv 對 AI 假引用落重手:用 AI 寫技術文檔前要補返核對工序

圖片:via The Verge — https://www.theverge.com/science/931766/arxiv-ai-slop-ban-researchers
TechLab 編輯部(譯)·

唔係禁用 AI,而係禁冇人負責嘅自動草稿

arXiv 對 AI 假引用落重手:用 AI 寫技術文檔前要補返核對工序

圖:The Verge.原文連結

arXiv 今次傳出嘅新罰則,最值得留意嘅位唔係 AI 三個字,而係核對責任。對做 AI、ML、數據科學、工程研究嘅人嚟講,arXiv 唔只係一個放論文 PDF 嘅地方,亦係追新 paper、交 preprint、畀潛在合作者同投資人睇技術可信度嘅公共履歷。如果一篇文章入面出現假引用、模型殘留嘅自我註腳,或者表格明明只係示意但當成實驗結果,問題就唔再係文筆似唔似 AI,而係成份工作仲有冇可信基礎。

呢件事亦唔應該只當學術圈新聞睇。今日好多香港研究生、公司 R&D team、AI startup、開源 maintainer 都會用 LLM 幫手整理 literature review、白皮書、README、API 文件、benchmark 報告同 pitch deck。AI 可以慳時間,但慳走核對工序就會變成風險轉移:工具生成咗一句似真嘅說法,最後簽名、投稿、交付同承擔後果嘅仍然係人。

發生咩事

據 The Verge 報道,arXiv 電腦科學分區主席 Thomas Dietterich 喺 X 提醒作者,如果投稿有無可辯駁證據顯示作者無檢查 LLM 生成結果,例如不存在嘅參考文獻,或者草稿入面殘留模型叫作者補資料、補真實數字嘅註腳,相關作者會被 arXiv 禁止投稿一年。禁投期後,未來投稿仲要先被信譽良好嘅同行評審期刊或會議接收,先可以再上 arXiv。

呢個細節要分清楚來源層級:一年禁投同之後要先過同行評審嘅講法,暫時主要見於 Dietterich 公開貼文同外媒報道;arXiv 官方文件就已經有幾條基礎規則。Code of Conduct 講明違反守則可導致警告或暫停參與;moderation 文件亦寫明,作者如果使用生成式 AI 語言工具,而工具產生錯誤、錯誤引用、誤導內容或抄襲內容,責任仍然由作者承擔。換句話講,新消息似係把既有責任講到更硬,而唔係忽然宣佈全面禁止 AI 寫作。

點解係 arXiv 先出手

arXiv 自己形容係一個經整理嘅研究分享平台,現時有超過三百萬篇文章,覆蓋物理、數學、電腦科學、統計、經濟等八個範疇。佢由 1991 年開始運作,投稿唔收費,但所有投稿都會經 moderation。重點係,arXiv 明確講自己唔係 peer review,平台刊出唔代表認可方法、結果或結論;內容責任由投稿者負責。呢個定位令 arXiv 好快,但亦令基本把關變得更重要,因為錯嘅 preprint 一樣可以被搜尋、引用同放入後續模型訓練資料。

過去一年 arXiv 已經因為 AI 生成低質內容調整過做法。2025 年 10 月底,arXiv 宣佈電腦科學分類入面嘅 review、survey 同 position paper,要先獲期刊或會議接收並完成同行評審,投稿時亦要提供相關證明。官方解釋指,CS 類別近年收到大量呢類文章,LLM 令冇新研究結果嘅文章可以好快生成,而每月收到嘅 review 文章入面,唔少只係接近加註版 bibliography,缺乏對開放研究問題嘅實質討論。呢個限制唔係針對原創研究論文本身,而係針對最易被批量生成、又最難由義務 moderator 逐篇深審嘅內容類型。

假引用亦唔係抽象憂慮。一篇 2026 年 5 月 8 日提交到 arXiv 嘅 preprint,審視 arXiv、bioRxiv、SSRN 同 PubMed Central 共 250 萬篇文章入面約 1.11 億條參考文獻,估算 2025 年有 146,932 條 LLM 幻覺引用。呢篇本身仍係 preprint,數字應該當成研究估算而非最終定論;但佢點出一件實際問題:引用係最容易驗證真偽嘅學術物件之一,連呢一層都出錯,其他更難查嘅實驗設計、數據解讀同方法比較,就更難叫人放心。

真正要改嘅係 workflow

今次 arXiv 嘅重點,其實唔係叫人用 AI 偵測器去判斷一段文字係咪機器寫。AI 偵測本身有誤判,語氣似 AI 亦唔等於內容錯。相反,arXiv 提到嘅係無可辯駁證據:不存在嘅 DOI、查唔到嘅論文題名、作者名同年份對唔上、模型留下嘅草稿提示、示意數據未換成真實實驗數字。呢類錯唔需要猜作者有冇用 AI,只要核對來源同結果就會露出嚟。

同一套思路放落技術團隊都適用。coding agent 幫手寫 README、SDK 文件、API migration guide、benchmark 表格或者 release note 時,最危險唔係文句太流暢,而係佢替項目補咗一個未實作嘅功能、作咗一個未跑過嘅延遲數字、引用咗不存在嘅 RFC,或者將某次本地測試講成可重現結論。文件一旦成為銷售材料、投標附件、開源 repo 首頁或者合規記錄,錯誤就唔再係文案問題,而係產品承諾同工程紀錄問題。

一個實用做法係將 AI 寫作拆成可審核步驟,而唔係用完就直接交稿:

  • 引用表:每條文獻都要有 DOI、arXiv ID、出版社頁面或官方文件連結,並由人手打開核對題名、作者、年份同主張。
  • 結果表:所有 benchmark、價格、規格、成功率、錯誤率都要對應 script、log、日期、模型版本、commit hash 或原始數據;冇跑過就寫 [待確認],唔好補估算。
  • AI 使用記錄:清楚記低工具用喺大綱、語言潤飾、摘要定程式碼輔助,避免將 LLM 生成來源當成真實來源。
  • 殘稿掃描:交稿前搜尋模型提示殘留、補資料提示、示意數據提示、TODO、[待確認]、未填引用;呢一步應該同 lint 或 test 一樣變成固定程序。
  • 作者簽收:最後一版要有明確 owner,逐段承認 claim、source、數據同圖表可追溯,唔可以將責任推畀工具。

香港角度唔係遠事

香港高校其實已經將類似原則寫入公開指引。港大 2025 年 9 月通過嘅生成式 AI 研究指引,要求研究人員核實同驗證 GenAI 輸出,記錄使用方式,披露使用情況,並強調研究者要對所有研究內容負責。指引亦特別提到,GenAI 會用專業語氣呈現錯誤資料;如果呢類錯誤資料進入已發表工作,即使作者唔知情,在嚴重或持續疏忽下都可能構成研究失當。對研究生嚟講,直接或大量用 GenAI 寫 thesis 而缺乏重大人手投入,亦可能影響論文可發表性。

本地已經有真實案例。RTHK 2025 年 12 月報道,港大調查確認一篇關於香港生育轉變嘅論文含有由 AI 生成、但不存在嘅引用;相關文章已被期刊撤回,通訊作者亦辭去學院副院長職務及研究委員會成員身份,涉事博士生進入校內紀律程序。呢件事同 arXiv 今次消息放埋一齊睇,訊號好清楚:香港研究團隊唔係只需要知道可唔可以用 AI,而係要證明自己有能力核對 AI 產物。

對本地 AI startup 同技術團隊,影響未必係投稿被禁咁直接,但信任成本一樣存在。好多公司會用 arXiv paper、白皮書、GitHub README 或 technical memo 去證明模型能力、RAG 管線、agent 架構、私有部署方案同安全評估。如果文件入面有假引用或未核對結果,投資人、企業客、院校合作方同採購 team 未必會逐句追究 AI 工具點用,但會即時懷疑整套工程紀錄係咪可靠。越係要賣技術可信度,越唔可以畀自動生成草稿做最後版本。

點睇

arXiv 呢一步唔係反 AI,而係反冇驗證嘅自動化。AI 可以幫人起稿、改句、整理背景、生成檢查清單,甚至輔助程式碼同實驗分析;但引用、數據、實驗結果、核心主張同最終責任,仍然要由人同團隊制度接返。以前寫論文同技術文件,最慢嗰步係找資料;而家最慢嗰步變成核對 AI 生成出嚟嘅資料有冇資格留低。呢個成本避唔開,只係可以早啲用流程吸收,或者遲啲用信譽去還。


參考來源

本文根據原文及公開資料整理;資料有出入時,以原文及官方資料為準。

分享:WhatsAppThreadsTelegramFacebook