Select Page
MMAudio:自動為影片生成同步音訊的開源解決方案

MMAudio:自動為影片生成同步音訊的開源解決方案

MMAudio 是一款開源的多模態影片轉音訊工具,透過多模態聯合訓練技術,可以將高品質的影片與音訊合成。該專案由伊利諾大學厄巴納-香檳分校、Sony AI 及 Sony 集團公司合作開發,適用於影片配音、虛擬角色語音等多媒體創作場景。

主要特色:

  • 多模態聯合訓練: MMAudio 採用多模態聯合訓練方法,能夠同時處理影片和文字輸入,生成與內容同步的音訊。
  • 高品質音訊合成: 透過先進的模型架構,MMAudio 能夠生成高品質且自然的音訊,適用於各類應用場景。
  • 同步模組: MMAudio 的同步模組確保生成的音訊與影片畫面精確匹配,實現高度同步。

適用場景:

  • 影片配音: 自動為無聲影片生成對應的音訊,提升影片的可觀賞性。
  • 虛擬角色語音生成: 為虛擬角色生成符合其動作和表情的語音,增強互動性。
  • 多媒體內容創作: 協助創作者快速為視覺內容添加音訊,豐富作品表現力。

技術原理:

MMAudio 基於深度學習技術,特別是神經網路,理解和生成音訊資料。模型能夠處理影片和文字輸入,透過深度學習網路提取特徵,進行音訊合成。在訓練時,模型考慮音訊、影片和文字資料,使生成的音訊能夠與影片和文字內容相匹配。透過同步模組,確保音訊輸出與影片畫面或文字描述的時間軸完全對應,實現同步。

使用方法:

MMAudio 提供命令列介面和 Gradio 介面,使用者可以根據需求選擇使用。在命令列中,使用者可以透過指定影片路徑和文字提示,生成對應的音訊。Gradio 介面則提供了更友善的使用者介面,支援影片到音訊和文字到音訊的合成。

已知限制:

目前,MMAudio 存在以下限制:

  • 有時會生成不清晰的語音或背景音樂。
  • 對某些陌生概念的處理不夠理想。

相關資源:

增強式 ChatTTS 跟 Ollama 的整合

可以中英文混合,笑聲,停頓的好用的語音生成模型

直接使用 ChatTTS

ChatTTS online DEMO https://chattts.com/#Demo

增強後好看又好用的 ChatTTS 外框 ChatTTS-Forge https://huggingface.co/spaces/lenML/ChatTTS-Forge

自行開發程式的重要資源

ChatTTS 官方說明 https://github.com/2noise/ChatTTS/blob/main/docs/cn/README.md

整合各種超強的 ChatTTS應用 https://github.com/libukai/Awesome-ChatTTS

ChatTTS 跟 Ollama 的整合 Demo https://github.com/melodylife/ollama-chat

延伸閱讀

ChatTTS-完整使用指南

ChatTTS-完整使用指南

免費且超強大的 AI TTS,文字轉語音模型+工具,有許多語氣的控制,也可以很精準的寫程式控制效果,是RD眼中好用的Local端開源的TTS

特色說明

1.大規模的數據:10萬小時的訓練資料,現在開源的是4小時的版本

2.專用設計:專門對於對話情境、視頻介紹的情境所設計的模型

3.開源特性:可以很簡單的整合到你的WEB中

4.支持語氣:oral, laugh, break

安裝前準備

python 3.10

CUDA

GIT

gradio

安裝說明

github 複製

git clone https://github.com/2noise/ChatTTS
cd ChatTTS

安裝依賴

pip install --upgrade -r requirements.txt

執行 webui

python examples/web/webui.py

利用 CLI

python examples/cmd/run.py "Your text 1." "Your text 2."

要整合在 python 程式碼中,可以安裝 PyPI

pip install ChatTTS
pip install git+https://github.com/2noise/ChatTTS
pip install -e .

整合程式碼

###################################
# Sample a speaker from Gaussian.

rand_spk = chat.sample_random_speaker()
print(rand_spk) # save it for later timbre recovery

params_infer_code = ChatTTS.Chat.InferCodeParams(
    spk_emb = rand_spk, # add sampled speaker 
    temperature = .3,   # using custom temperature
    top_P = 0.7,        # top P decode
    top_K = 20,         # top K decode
)

###################################
# For sentence level manual control.

# use oral_(0-9), laugh_(0-2), break_(0-7) 
# to generate special token in text to synthesize.
params_refine_text = ChatTTS.Chat.RefineTextParams(
    prompt='[oral_2][laugh_0][break_6]',
)

wavs = chat.infer(
    texts,
    params_refine_text=params_refine_text,
    params_infer_code=params_infer_code,
)

###################################
# For word level manual control.

text = 'What is [uv_break]your favorite english food?[laugh][lbreak]'
wavs = chat.infer(text, skip_refine_text=True, params_refine_text=params_refine_text,  params_infer_code=params_infer_code)
"""
In some versions of torchaudio, the first line works but in other versions, so does the second line.
"""
try:
    torchaudio.save("word_level_output.wav", torch.from_numpy(wavs[0]).unsqueeze(0), 24000)
except:
    torchaudio.save("word_level_output.wav", torch.from_numpy(wavs[0]), 24000)

V3版本

音色庫

https://www.modelscope.cn/studios/ttwwwaa/chattts_speaker

注意事項

1.是否要使用CUDA,需要的話,記得安裝依賴

2.要用CUDA,怎選擇 Linux 平台,相容性比較好

3.Python最好用3.10版本,並且用conda

直接使用

https://chattts.com

colab

modalScope

參考資源

ChatTTS Github

ChatTTS官網

Chat TTS UI

Chat TTS 翻譯

MediaFire一件安裝包

Lobe Chat UI-有plugin,多模態的AI CHAT UI – 雨 (rain.tips)

AI Tools – AI工具大全(總整理) – 雨 (rain.tips)

搭配 Free AI 產圖Flux

Hallo AI:讓照片動起來,結合語音技術的革命性數字人類

Hallo AI:讓照片動起來,結合語音技術的革命性數字人類


Fusion Lab 又有新款力作,Hallo AI 可以讓用戶僅需提供一張照片和一段語音,就能讓照片中的人物進行說話、唱歌甚至進行動作,為數字內容創作帶來了革命性的突破。

hallo framework

主要功能介紹:

  • 語音動畫同步:用戶只需上傳一張照片及一段WAV格式的英語語音,Hallo AI就能使照片中的人物按語音內容進行動作,包括說話和唱歌。
  • 動作自然流暢:結合精確的面部識別和動作捕捉技術,保證人物動作的自然流暢,令人印象深刻。

技術框架:

  • 音頻處理:使用Kim_Vocal_2 MDX-Net的vocal removal模型分離語音。
  • 面部分析:透過insightface進行2D和3D的臉部分析。
  • 面部標記:利用mediapipe的面部檢測和mesh模型進行精確標記。
  • 動作模組:AnimateDiff的動作模組為動作生成提供支持。
  • 影像生成:StableDiffusion V1.5和sd-vae-ft-mse模型協同工作,用於生成和調整圖像細節。
  • 聲音向量化:Facebook的wav2vec模型將WAV音頻轉換為向量數據。

安裝方法

盡量採用 Linux 平台,我這邊測試成功的有 Ubuntu 20 WSL 版本,就可以簡單三個步驟,部過前提要記得先安裝好 WSL CUDA 支援

1.建立虛擬環境

  conda create -n hallo python=3.10
  conda activate hallo

2.安裝相關的依賴

  pip install -r requirements.txt
  pip install .

3.要有 ffmpeg 支援

  apt-get install ffmpeg

4.測試與驗證

python scripts/inference.py --source_image examples/reference_images/1.jpg --driving_audio examples/driving_audios/1.wav

最近更新:

  • 在🤗Huggingface空間克隆了一個Gradio演示。
  • 新增Windows版本、ComfyUI界面、WebUI和Docker模板。

參考資料

Hallo GitHub

Hallo Model

大神開發的Windows介面

Hallo 線上版本

Hallo Docker版

影片跳舞合成

逼真的虛擬存在:專注在企業應用的Hour One AI如何創造數字人物

逼真的虛擬存在:專注在企業應用的Hour One AI如何創造數字人物

Hour One AI 是一家專注於人工智能技術的創新公司,其技術主要應用於生成逼真的虛擬人物和語音合成領域。這家公司利用最新的AI和機器學習技術,創造出可以在各種數字媒體和虛擬環境中自然互動的虛擬角色。Hour One AI的技術不僅僅是將數字人物作為娛樂或遊戲的一部分,而是旨在於教育、培訓、新聞報導、客戶服務以及其他需要人機互動的領域中發揮作用。

技術創新

Hour One AI 的一大創新是其能夠創建出與真人幾乎無法區分的虛擬角色。這些角色不僅外觀逼真,還能夠模仿人類的語音、語調和面部表情。公司使用先進的深度學習技術,通過分析大量的人類語音和面部表情數據,來訓練其AI模型,從而生成自然流暢且富有表情的虛擬角色。

應用場景

Hour One AI 的技術在多個領域中都有廣泛的應用前景:

  1. 教育和培訓:通過創建虛擬教師和培訓師,提供更加個性化和互動的學習體驗。
  2. 新聞和報導:使用虛擬新聞主播來報導最新新聞,提供更加多樣化的報導角度和語言選擇。
  3. 客戶服務:創建虛擬客服代表,24小時提供服務,改善客戶體驗。
  4. 娛樂和社交媒體:為社交媒體和娛樂行業提供虛擬角色,創造新的互動方式。

企業級安全性、信任和服務

在追求技術創新的同時,Hour One AI深知企業級安全性、信任和服務的重要性。公司致力於達到AI安全和倫理的最高標準,確保其技術的應用不僅高效而且安全可靠。

  1. 企業級安全:Hour One AI採用最先進的安全技術和協議,保護用戶數據免受未經授權的訪問和濫用。從數據加密到嚴格的訪問控制,Hour One AI確保所有虛擬角色的創建和使用過程都遵循最嚴格的安全標準。
  2. 信任和透明度:Hour One AI在其所有操作中強調信任和透明度。公司不僅公開其AI模型的工作原理,還積極參與公開討論,關於AI倫理和負責任地使用AI技術的重要性。這種開放性賦予了用戶對Hour One AI技術的信任,同時鼓勵了對AI應用倫理問題的持續探討。
  3. 客戶服務:Hour One AI提供卓越的客戶服務,確保用戶能夠最大限度地利用其技術。從技術支持到定制開發,Hour One AI與客戶緊密合作,以滿足其獨特需求,推動其業務發展。
利用數字人幫你賺取被動收入:2024年台灣電商的關鍵策略

利用數字人幫你賺取被動收入:2024年台灣電商的關鍵策略

數字人直播是什麼?

數字人直播,就是透過AI技術,使用數位化的角色進行直播或製作影片。

你只需要提供文字或音訊,數字人就可以即時進行互動與表演。

如何透過數字人賺取被動收入?

  1. 低成本開始:在台灣,一個傳統的直播團隊可能需要上萬元的初始投資。但利用數字人,只需要一台電腦和簡單的操作即可開始,成本大大降低。
  2. 隨時隨地開播:無論你身在哪裡,甚至在外地出差,都可以輕鬆開播或製作影片,真正做到工作和生活的平衡。
  3. 免去化妝與打扮:傳統的直播需要主播時常保持最佳狀態,但數字人完全不需要。只要你提供內容,數字人都能呈現出最完美的表現。
  4. 自動與觀眾互動:你不需要時時刻刻盯著螢幕回覆觀眾,數字人能夠自動回應各種留言,與觀眾進行互動。
  5. 商品運營全自動化:從商品上下架到推薦商品,一切都可以自動完成,無需再花費大量時間手動操作。
  6. AI寫作助攻:即使你不是文筆高手,數字人也能透過AI技術幫助你撰寫吸引人的直播話術和影片腳本。

大陸的抖音與數字人風潮

在大陸,抖音已經不只是一個短視頻平台,它更是一個巨大的社交生態。隨著數字人技術的進步,越來越多的抖音用戶選擇利用數字人創作內容。他們不需要露臉,卻能上傳有趣、吸引人的視頻,迅速積累粉絲和獲得廣告收入。

數字人直播:台灣的新機遇?

  1. 低成本、高回報:受到大陸抖音的啟發,台灣的用戶也可以看到,只需一台電腦和簡單操作,就能利用數字人開啟直播或創作視頻,並迅速賺取收入。
  2. 無疆界的創作:不論你身在台灣、大陸還是其他國家,都能進行直播或製作影片,並利用社交平台如抖音分享,擴大影響力。
  3. 自動化的未來:數字人不僅能自動與觀眾互動,還能自動完成商品運營、撰寫直播話術等工作,大幅度減少手動操作。

2024年:台灣電商的虛擬人時代

從大陸的抖音到全球的直播平台,我們見證了一次又一次的創新和變革。當前,大陸的抖音上正流行著「數字人直播」的風潮。而進入2024年,我們有理由相信,這股風潮也將是台灣電商界的一大亮點。

大陸抖音與數字人熱潮

在大陸,抖音已成為一個巨大的社交生態,而數字人技術的崛起,使得更多創作者能夠以匿名的方式產生吸引人的內容。這使得他們在不露臉的情況下,也能迅速累積粉絲,並進而獲得豐厚的收益。

  1. 電商的新策略:預估在2024年,數字人將成為台灣電商行業不可或缺的一部分。從產品介紹、客戶服務到廣告宣傳,虛擬人的多功能性將帶來前所未有的變革。
  2. 無疆界的市場:不僅是台灣,利用虛擬人,台灣的電商品牌能更輕鬆地打入國際市場,吸引更多的消費者。
  3. 自動化與效率:透過虛擬人的應用,許多過去需要人力操作的工作,如客服、產品推介等,都可以透過AI達到高度的自動化,大大提高工作效率。

2024年台灣電商的D2C策略:從數字人到消費者直接接觸

D2C(Direct-to-Consumer)是直接面向消費者的銷售模式,企業直接跳過中間商,與消費者建立直接的銷售和交流關係。隨著數字科技的發展,D2C的策略正在重新定義台灣電商的格局。進入2024年,D2C不僅將繼續崛起,還將與數字人技術相結合,帶來更多創新的應用。

1. 客制化的體驗

  • 數字人的應用使得品牌能夠更加個性化地與消費者互動,從商品推薦到售後服務,都能基於消費者的偏好和行為進行定製。而D2C模式使品牌能夠更直接地獲得這些數據,進而提供更符合消費者需求的產品和服務。

2. 更高的營銷效率

  • 傳統的銷售渠道涉及多個中間環節,往往導致資訊的失真和效率的降低。而D2C模式,結合數字人技術,可以使品牌更直接、更快速地與消費者進行互動,從而提高營銷效率。

3. 創新的銷售模式

  • 數字人可以24/7不間斷地與消費者進行互動,不受時間和地點的限制。結合D2C模式,企業可以開展全新的銷售活動,如限時秒殺、直播帶貨等,吸引更多的消費者參與。

4. 建立更深厚的品牌忠誠度

  • D2C模式允許品牌直接與消費者建立情感連接。透過數字人技術,品牌可以在消費者的每一次購物體驗中,提供一致和高質量的服務,進一步增強品牌的吸引力和忠誠度。

參考資料

已經有應用數字人科技的我家網

特看科技數字人

特看科技

  • 真人换脸直播
  • 虚拟数字人直播 + 制作
  • 虚拟场景直播方案
  • 动漫虚拟IP直播 + 制作
  • TikTok数据分析
  • TikTok直播助手