Nvidia 推出開放轉寫模型:單卡部署仍要先驗證粵語
Tech News

Nvidia 推出開放轉寫模型:單卡部署仍要先驗證粵語

圖片:TechLab 自製資訊圖
TechLab 編輯部(譯)·

Nvidia 推出免費、開放權重的 Nemotron 3.5 Transcribe 語音轉寫模型,聲稱可處理最多 40 種語言的音訊,並可把 31 種語言與英文互譯。模型瞄準會議紀錄、醫療轉寫等企業用途,亦可配合 Granary v2 開放語音資料集及 NeMo Speech 工具,讓開發者針對行業術語作客製化。

對需要把訪談、會議或課堂錄音轉成文字的團隊而言,最實際的吸引力在部署彈性。Nvidia 指這個 300 億參數模型可在單一晶片上運行,涵蓋 Jetson AGX Thor、DGX Spark,以及 Blackwell 資料中心晶片。不過,這是廠方說法,實際所需記憶體、轉寫速度及同時處理多段錄音的能力,仍要按選用硬件、量化方式和工作流程獨立 benchmark,不能直接把「單晶片可跑」視為一般單張 GPU 都有同等體驗。

適合錄音後處理,不是即時語音方案

Nemotron 3.5 Transcribe 的明確限制是只支援已錄製音訊,不處理直播串流。這令它較適合訪問後整理、會議錄音歸檔、醫療聽寫覆核等非即時流程;若產品需要語音 agent 即時回應、直播字幕或通話中的即時轉寫,便要另覓支援串流的方案。

Nvidia 亦聲稱模型可辨識最多八名說話者,並在包括 Hugging Face Open ASR Leaderboard 在內的 benchmark 勝過對手。說話者分離對多人會議尤其重要,但這些均屬廠方效能宣稱;真實錄音中的搶話、遠距收音、背景噪音和中英夾雜,往往比排行榜測試更難處理。

粵語與繁中是本地採用前的關鍵空白

原始資料沒有列出 40 種支援語言,也沒有特別說明粵語、繁體中文或中英夾雜錄音的表現。因此,語言數目不能等同本地口語辨識品質,更不能推論已針對粵語優化。

若考慮把模型用於香港常見的會議、媒體訪問或課堂錄音,較合理的評估方法是以自家錄音比較:逐字準確度、專有名詞和英文人名處理、說話者標籤,以及繁體文字輸出是否需要大量人手校對。與 Whisper 等既有方案比較時,亦應一併計算本機硬件成本、後期修訂時間與把聲音資料交予雲端處理所涉及的私隱取捨。

開放權重和可客製化工具,理論上可讓有能力維護模型的團隊把錄音留在內部環境處理,減少把敏感音檔外傳的需要;但這仍取決於實際部署方式和資料管控。下一步值得觀察的,是獨立測試會否補足粵語、繁中及嘈雜多人錄音的表現,以及開發者能否把單卡部署真正轉化為可負擔的日常工作流程。

延伸閱讀

AI 輔助說明: 本文由 AI 協助整理,並經兩輪獨立自動品質審核;資料及連結仍以原始來源為準。


參考來源

本文根據原文及公開資料整理;資料有出入時,以原文及官方資料為準。

分享:WhatsAppThreadsTelegramFacebook