Claude Code 唔只寫 code,XDA 用 Whisper 同 FFmpeg 叫佢代剪短片
3C 產品

Claude Code 唔只寫 code,XDA 用 Whisper 同 FFmpeg 叫佢代剪短片

圖片:via XDA Developers — https://www.xda-developers.com/turned-my-terminal-into-a-video-editor-using-claude-code/
TechLab 編輯部(譯)·

由揀 take、動態字幕到音效,慳工背後仍有幾關要人手把關

Claude Code 做嘅其實係監製加工程師

Claude Code 本身唔識「睇 timeline」剪片,佢做嘅係理解要求、檢查素材,再寫程式指揮其他工具。XDA 作者先交出幾段拍攝片,系統用 Whisper 整逐字稿同時間碼,Claude 再按內容揀 take、排次序,最後叫 FFmpeg 切片、合成同輸出。片段真正點樣解碼同壓製,仍然係 FFmpeg 出力;Claude 負責將編輯決定變成可執行指令。

呢個分工幾關鍵。傳統剪片係人喺 timeline 一格格睇,呢套方法就先將聲音變成文字,跟住用文字內容決定保留邊句。Talking head、教學、訪問精華呢類以對白帶動嘅短片最啱食呢套玩法;如果係 MV、劇情片或者要靠畫面節奏講故事,單靠逐字稿揀鏡,好容易剪走表情、停頓同反應鏡頭。

Claude Code 唔只寫 code,XDA 用 Whisper 同 FFmpeg 叫佢代剪短片

圖片:Wikimedia Commons — Marine BAJAN(CC BY-SA 4.0)

Whisper 時間碼夠用,但唔係逐格準

Whisper 可以輸出 word-level timestamps,Claude 於是能夠按每個字嘅開始同結束時間落刀,再用同一批資料整逐字跳動嘅動態字幕。不過 OpenAI Whisper 維護者講明,呢啲逐字時間係推理時估算出嚟,模型冇特別用逐字對齊資料訓練,遇到停頓時未必準確。廣東話夾英文、品牌名、口頭禪同背景音,亦係字幕最易出事嘅位置。

所以自動字幕慳到嘅,主要係打字、分行同初步對時嗰輪工。人手仍然要由頭播一次,核對人名、產品名、數字、斷句同字幕安全區。要做卡拉 OK 式逐字高亮,幾十毫秒嘅偏差都會睇得出;如果只係普通兩行字幕,容錯空間就大好多。

Agent 揀 take,快慢取決於你有幾多廢片

XDA 呢次展示到 Claude 可以理解幾個相似 take,再揀一個較順嘅版本。呢步對成日重錄同一句嘅 creator 幾實用,因為 agent 可以先按逐字稿刪走講錯、重複同長停頓,砌出 rough cut 畀人睇。真正慳時間嘅地方,係少咗來回拖動播放頭同逐段標記,唔係完全唔使人判斷點剪。

問題係「講得完整」唔等於「最好睇」。有時較短嗰個 take 眼神飄咗,有時口誤嗰段反而有自然反應;模型若只見到文字,就未必識揀。穩陣做法係叫 agent 輸出剪接決定表,列低每段來源、入點、出點同揀選理由,先出低解像度預覽。咁改錯一刀唔使重壓成條片,亦方便人手追返原片。

字幕、B-roll 同音效最易由加分變扣分

XDA 作者亦叫 Claude 加動態字幕、圖片 B-roll 同音效。技術上唔神秘:FFmpeg filter 可以疊圖、燒字幕、縮放同混音,agent 只係代你砌好一長串參數。不過呢啲裝飾最講判斷,音效太密、字幕跳得太急、B-roll 同對白只係字面相關,成品即刻會有模板味。XDA 作者覺得結果理想,只能當成一次個人示範,未足以代表其他片長、語言同素材都會一樣順。

更現實嘅問題係授權。原文做法包括由網上搵 logo 同相片做 B-roll,搵得到唔代表有權放入商業影片。搵到品牌 logo 唔代表可以任用,其他相片亦可能受攝影版權限制。公司最好只畀 agent 讀指定素材庫,保留來源網址、授權類型同下載日期;來源講唔清楚嗰張圖,直接唔用會穩陣好多。

等候時間同成本,唔好只睇 Claude 月費

截至文章刊出時,Anthropic 官網列出 Claude Pro 月繳 US$20,已包括 Claude Code;Max 就由每月 US$100 起,但各級都有用量限制。用 API 會按輸入、輸出 token 收費。一次剪片要反覆讀逐字稿、修改程式、預覽同修錯,實際消耗視乎片長、對話輪數同揀用模型,XDA 單次體驗唔足以推算每條片固定成本。

硬件帳亦要分開計。Claude 嘅推理喺網上處理;如果喺本機行 Whisper,轉錄速度就會受 CPU、GPU、模型大小同影片長度影響;FFmpeg 輸出就受解像度、編碼器、濾鏡數量同硬件加速左右。加大量逐字動畫、疊圖同混音之後,每次修訂都可能要重新壓片。慳到幾多人手,同你等幾耐先有預覽係兩條數,測試時要一齊記錄。

未公開素材,先搞清楚會送咩出去

Claude Code 可以讀本機檔案再執行工具,但網上推理代表 prompt、程式內容同 Claude 實際讀取嘅資料可能送到服務商處理。用 Free、Pro 或 Max 帳戶登入 Claude Code,適用嘅係消費者資料安排;Anthropic 話刪除對話後,後端會喺 30 日內刪除,而用家若開啟改善模型選項,相關對話或 coding session 可用去改善模型,去識別化資料最長可保留五年。

客戶片、未公布產品、內部會議同可辨認聲音都唔應該未睇條款就直接交入去。團隊方案、Enterprise、Anthropic API 同雲端供應商嘅保留安排可以唔同,開工前要按實際登入方式核對。香港能否開戶亦應以 Anthropic 當刻嘅支援地區頁同付款畫面為準;官方安裝文件只寫明服務限支援地區使用,未提供一套獨立嘅香港資料處理承諾。

最啱用喺第一版,唔係直接出街

呢套方法最有價值嘅位置係批量製作 rough cut:先轉錄、刪重複、揀 take、套品牌字幕,再快速輸出直片同橫片版本。creator、社交媒體團隊同細公司可以少做好多機械式操作,將時間留畀內容取捨。不過發佈前仍要有人完整睇一次,覆核剪口、字幕、音量、畫面授權、品牌資料同事實準確度。

如果要認真評估值唔值得用,可以揀三條同類短片,逐條記錄人手剪接時間、agent 等候時間、修訂次數、Claude 用量、Whisper/FFmpeg 運算時間同最後錯漏。三條都穩定慳到工先值得寫成固定製作模板;只靠一條成功示範就全自動出街,風險仍然太高。


參考來源

本文根據原文及公開資料整理;資料有出入時,以原文及官方資料為準。

分享:WhatsAppThreadsTelegramFacebook