MMAudio：自動為影片生成同步音訊的開源解決方案

by rainchu | 12 月 19, 2024 | AI, 影片製作, 語音合成, 音樂

MMAudio 是一款開源的多模態影片轉音訊工具，透過多模態聯合訓練技術，可以將高品質的影片與音訊合成。該專案由伊利諾大學厄巴納-香檳分校、Sony AI 及 Sony 集團公司合作開發，適用於影片配音、虛擬角色語音等多媒體創作場景。

主要特色：

• 多模態聯合訓練： MMAudio 採用多模態聯合訓練方法，能夠同時處理影片和文字輸入，生成與內容同步的音訊。
• 高品質音訊合成： 透過先進的模型架構，MMAudio 能夠生成高品質且自然的音訊，適用於各類應用場景。
• 同步模組： MMAudio 的同步模組確保生成的音訊與影片畫面精確匹配，實現高度同步。

適用場景：

• 影片配音： 自動為無聲影片生成對應的音訊，提升影片的可觀賞性。
• 虛擬角色語音生成： 為虛擬角色生成符合其動作和表情的語音，增強互動性。
• 多媒體內容創作： 協助創作者快速為視覺內容添加音訊，豐富作品表現力。

技術原理：

MMAudio 基於深度學習技術，特別是神經網路，理解和生成音訊資料。模型能夠處理影片和文字輸入，透過深度學習網路提取特徵，進行音訊合成。在訓練時，模型考慮音訊、影片和文字資料，使生成的音訊能夠與影片和文字內容相匹配。透過同步模組，確保音訊輸出與影片畫面或文字描述的時間軸完全對應，實現同步。

使用方法：

MMAudio 提供命令列介面和 Gradio 介面，使用者可以根據需求選擇使用。在命令列中，使用者可以透過指定影片路徑和文字提示，生成對應的音訊。Gradio 介面則提供了更友善的使用者介面，支援影片到音訊和文字到音訊的合成。

已知限制：

目前，MMAudio 存在以下限制：

• 有時會生成不清晰的語音或背景音樂。
• 對某些陌生概念的處理不夠理想。

相關資源：

• GitHub 專案地址： https://github.com/hkchengrex/MMAudio
• 線上體驗： Hugging Face Demo