轉錄文字神器登場！ Meta 發布 Muse Voice Transcribe 即時語音模型 支援70+語言可分辦20位講者聲紋

Meta 旗下 AI 研發部門 Meta Superintelligence Labs 發表即時音訊感知模型 Muse Voice Transcribe。該模型採用單一架構，原生整合語音辨識、講者辨識及語句結束判斷，串流字錯率低至 3.1%，並支援 70 種以上語言及跨語種切換。產品現已登陸 Mac 平台，亦可透過 API 接入。

即刻【按此】，用 App 睇更多產品開箱影片

Meta 發布 Muse Voice Transcribe 語音辨識模型 支援 70 種語言跨語種切換現已登場

Meta 旗下的 AI 研發部門 Meta Superintelligence Labs（MSL）發表全新即時音訊感知模型 Muse Voice Transcribe。作為旗下 Muse Spark 模型家族最新成員，該款自迴歸多模態模型主打高精準度與極低延遲，並原生整合聲紋辨識功能。

單一架構整合三大核心功能 串流字錯率低至 3.1%

過往語音轉文字系統需相連多套工具處理不同步驟，Muse Voice Transcribe 則以單一模型處理即時串流語音辨識、講者辨識（Diarization）以及語句結束判斷（Endpointing）。該模型支援轉錄超過一小時的長音檔，並可在單一音訊內準確區分 20 位以上的講者，全程無需任何後處理。

根據 Artificial Analysis 速度對準確度的測試數據，Muse Voice Transcribe 在串流狀態下的最終轉錄字錯率（WER）僅 3.1%，且偵測到講者說完後只需約 0.16 秒即能產生最終文字，性能位於 Pareto frontier（速度與準確度最佳邊界）下方。

在與同類競爭對手的英文測試比較中：

自適應延遲機制 平衡辨識速度與準確度

即時語音轉文字的關鍵難題在於時間拿捏。Muse Voice Transcribe 採用「自適應延遲」（Adaptive Delay）技術，音訊會以每 80 毫秒（每秒 12.5 塊）切片進行分析。模型會自行評估當前接收的音訊資訊是否足夠輸出文字：

• 高難度詞彙：自動延長聆聽時間，收集更多上下文資訊以保障準確度。

• 高辨識度詞彙：即時輸出文字，確保整體反應速度。

模型訓練結合強化學習，以乘法運算整合「字詞錯誤率獎勵」與「延遲獎勵」，防止模型過度偏重速度或準確度。

在講者辨識方面，傳統系統需在音訊完成後進行額外分群流程。Muse Voice Transcribe 偵測到講者切換時，會直接在輸出加入 <|start_of_turn|> 及相應的 Speaker Tag。在 AMI-IHM、AMI-SDM 及 VoxConverse 等公開資料集測試中，其即時串流講者辨識錯誤率平均值為 17.5%，表現優於多款離線處理系統。

支援 70 種語言跨語種切換 已登陸 Mac 平台

Muse Voice Transcribe 訓練涵蓋 70 種以上語言，推出階段已完成 25 種語言驗證，包括中文、日文、法文、西班牙文、印地語及越南語等。模型支援句子中間或句子之間的跨語言切換（Code-switching）。目前中文輸出主要以簡體中文為主。

現時體驗 Muse Voice Transcribe 主要有三種途徑：免費下載 Meta AI for Mac（於 macOS 系統按住 Fn 鍵即可進行全域語音打字）、透過 Muse Code 使用，或經由 Meta Model API 接入，API 定價為每 1,000 音訊分鐘 3 美元（折合每小時約 0.18 美元）。

Source： ezone.hk、kocpc

【相關報道】

【相關話題】打工仔殘酷現實！Meta CTO：AI 幫手唔係畀你休息 揭員工隱藏個人 AI 技巧原因

Meta技術長博斯沃思於內部會議否決因AI提升效率而恢復額外假期的建議，強調節省的時間應投入產品開發。與此同時，職場出現因AI提高效率而增加工作量的現象，促使部分員工選擇隱藏AI技能以維持現有工作節奏。

↓點擊圖片放大↓

+3

+2

Source: ezone.hk