AI 模型能否讀懂？一篇長文掀起可解釋性爭論

圖片：TechLab 自製資訊圖

TechLab 編輯部（譯）·2026-10-24

Goodfire 研究員、OpenAI 前研究員 Nick Cammarata 發表約 2.6 萬字文章，提出神經網絡的內部運作或許沒有外界想像般不可理解。這個說法觸及使用大型語言模型與 AI agent 的企業、開發者和一般用戶：若能可靠地辨識模型為何作出某個決定，理論上較有機會找出危險行為的成因並加以限制。

不過，這並不是已被證實的 AI 安全突破。TechNews 科技新報報道指出，文章屬未經同儕審查的工作假說，現時較深入的觀察主要來自相對簡單的視覺模型，未足以證明驅動主流聊天機械人或 AI agent 的大型語言模型已可被完整理解或控制。

從「多義神經元」改看共同特徵

Cammarata 早年參與的研究曾發現，影像辨識模型 Inception v1 的單一神經元可同時對汽車和貓有反應，因而支持神經元會把多種概念混合編碼、難以拆解的看法。

他如今重看同一例子，提出兩類圖像未必代表兩個無關概念，而可能共享「V 字形」視覺特徵，例如貓臉與側面車頭。據 TechNews 科技新報報道，該神經元亦會對桌球枱角、新幹線尖鼻車頭和向上噴水的消防船產生反應，對圓形特徵則受抑制。這令他推測，研究者過去可能過早把難以解釋的反應歸類為雜亂混合，而非繼續尋找可驗證的結構規律。

這是機制可解釋性（mechanistic interpretability）的核心問題：研究不只問模型輸出了甚麼，還嘗試追蹤資訊在神經元與迴路之間如何流動。若方法奏效，開發者或可在部署前定位某些能力、錯誤傾向或不當行為相關的內部機制；對採用模型的團隊而言，選擇供應商時亦可能多一項可審視的可靠性證據。

有希望，不等於已能管住模型

爭議在於，單一神經元有較合理的解釋，與理解整個模型仍有很大距離。TechNews 科技新報引述史丹福大學 Chris Potts 的觀點，指大量個案觀察不能取代嚴謹評估；Alignment Research Center 的 Jacob Hilton 則認為，研究者目前對頂尖 LLM 內部運作的理解仍極少，關鍵是釐清神經元如何組成複雜迴路。Google DeepMind 的 Neel Nanda 也認為，這項研究有趣，但不足以改寫可解釋性領域的整體判斷。

因此，較合理的解讀是：這篇文章提供了一個值得測試的研究方向——面對看似多義的內部訊號，能否找到可重複驗證的共同機制；它未有證明模型已「可讀」、更沒有證明 AI agent 已安全。Cammarata 亦承認外界有過度解讀，並表示其團隊正把方法套用到現代 LLM，較大模型的初步結果看來有希望，正式技術結果仍有待公布。

對日常使用 AI 工具的人來說，可解釋性短期未必會變成一個可見功能，但它會影響模型能否提供足夠的行為證據、開發者能否除錯，以及企業是否可為高風險工作流程設定可信的監控與限制。下一步值得留意的，是這套方法能否在現代 LLM 上產生可重複的技術結果，並能否由外部研究者驗證，而非停留在少數視覺案例的直觀解釋。