GPT-5.6 Sol 跑完八階段惡意程式調查，逆向工程師仲要睇實佢
SentinelLabs 用 Fast16 重建真實調查，測出 AI agent 嘅長線能力同盲點
iThome 報道 SentinelLabs 用破壞型惡意程式 Fast16，測試幾款頂尖模型可唔可以一路由拆 binary 做到寫威脅情報報告。結果最搶眼嗰部分，其實係 GPT-5.6 Sol 用三種推理資源設定跑咗三次，三次都完成全部八階段。AI 暫時仲取代唔到逆向工程師，不過今次測試顯示，佢已經唔止識答單一技術問題，亦可以跟進一段長時間、期間要多次修正舊結論嘅調查。
呢個 benchmark 難喺要一路守住成盤證據
Fast16 係一套源自 2005 年嘅 Windows 破壞工具。SentinelLabs 指佢會修改高精度工程模擬軟件嘅程式碼，令計算結果出錯。樣本表面似普通 service implant，入面其實藏住加密 Lua 架構、其他元件，同一個有 101 條規則嘅 patching engine。早期模型見到 kernel driver，好容易就停喺「filesystem rootkit」呢個合理但錯嘅答案，冇再追落去。
研究團隊將原本調查拆成八級，畀模型用 IDA Pro 9.3 喺冇外部網上連線嘅 sandbox 工作。模型先要整理完整 IDA database，改好變數名、資料類型同函數分類，再逐級接收 LS-DYNA、PKPM、MOHID、ANSYS AUTODYN 元件同外部報告。每個判斷都要對得返具體地址同 artifact，寫得似模似樣唔算過關，工具入面嗰份分析先係驗證基礎。
圖片：SentinelLabs
其他模型識拆局，但收唔到科
GPT-5.5 可以連續工作一兩日，亦會保守處理反編譯結果，不過大量細小缺口一路累積，始終過唔到第一級。GLM-5.2 曾經整失 113 個內嵌函數，之後識由備份恢復，但研究只跑咗一次，參考價值有限。Claude Opus 4.7 同 4.8 行得再遠少少，識因應新證據修正推論，卻多次太早話階段完成，要操作人員追問先再執漏。
呢啲結果反映長線調查同解一道難題係兩種工作。模型可以單次解釋函數、寫測試 script 或提出假設，但幾日後新證據推翻舊講法，佢仲要搵出邊份 database、報告同下游測試受影響，再全部修正。多數模型每一手睇落都幾醒，問題係做得愈耐，未清理嘅錯誤同技術債就愈多，最後成盤工作冇辦法交收。
Sol 識得追查同修正錯誤
Sol 嘅 xhigh 測試一度發現 Fast16 規則喺 MOHID 同 PKPM 都會命中，於是推斷佢可能係通用相容元件。命中結果本身冇錯，但解讀錯咗：仔細檢查後，只有 LS-DYNA 出現連貫修改，另外兩套軟件只係碰中通用編譯器程式碼。Sol 跟住撤回舊假設、保留有效數據、修正主分析，再標記舊分支，避免後面報告繼續引用。
SentinelLabs 將呢種表現形容為 project-scale recovery。實際睇，重點係模型識追查錯誤影響範圍，修正產生錯誤嗰套檢查方法，再重開 artifact 驗證。Sol 甚至開始記錄一般操作嘅 file hash，減低同類問題再出現。佢嘅進步唔只係識多啲惡意程式知識，仲包括管理狀態、證據同技術債。 呢種能力對 coding agent 同樣重要。
資安團隊可以點分工
SOC 或惡意程式分析團隊可以將一段有清楚邊界嘅調查交畀較強 agent，例如整理 IDA database、追 execution flow、重播 patch 規則同維護證據表。較弱模型就留做局部助手，負責解釋函數、草擬查找方法或者整合已確認資料。所有 agent 都應該喺隔離環境運行，亦要保留可以重現結果嘅 artifact。同時保留 hash、地址、測試結果同修改紀錄，方便另一套工具或者人手推翻佢。
專家嘅工作會向上移：定義調查範圍、控制證據幾時加入、設計可以證明模型錯嘅測試，同埋守住階段關卡。模型話「完成」只可以當成覆核提示，唔可以直接變成正式情報。高風險判斷，例如惡意程式真正目標、攻擊影響同歸因，仍要逆向工程師逐項簽走；最終報告亦要由人手負責。
呢次突破仍然只係一個案例
研究由端點資安供應商 SentinelOne 旗下團隊自行發表，各模型測試次數唔一致，操作人員途中亦有指出盲點。成個實驗更用咗超過 230 億 token，當中 93.58% 係 cache read，成本同基建要求唔適合由一次結果直接推算。Fast16 又只係單一、結構獨特嘅舊樣本，暫時冇獨立團隊用其他惡意程式重現相同差距。
好消息係 SentinelLabs 已公開經模型再加工嘅 IDA databases，其他研究員可以逐項核對。下一步要睇更多團隊用一致測試次數、更多惡意程式類型同預先寫好嘅人工覆核規則重跑；做到嗰步，企業先有足夠資料決定一位專家可以安全睇住幾多個 agent。
參考來源
- iThome — AI自主分析惡意程式仍未成熟，逆向工程仍須專家監督 — original report
- Sol Searching | Can Frontier Models Tackle Autonomous Long-Horizon Malware Analysis? — SentinelLabs 原始研究，載有八階段設計、各模型表現、token 用量同研究限制
- fast16 | Mystery Shadow Brokers Reference Reveals High-Precision Software Sabotage 5 Years Before Stuxnet — Fast16 原始技術分析，交代樣本架構、patching engine 同候選目標
- SentineLabs/fast16-idbs — 研究團隊公開嘅 gold-master IDA databases，方便其他研究員核對輸出
本文根據原文及公開資料整理；資料有出入時，以原文及官方資料為準。
