Select Page
Hallo AI：讓照片動起來，結合語音技術的革命性數字人類

Hallo AI：讓照片動起來，結合語音技術的革命性數字人類

by | 6 月 27, 2024 | AI, 人臉辨識, 影片製作, 語音合成


Fusion Lab 又有新款力作，Hallo AI 可以讓用戶僅需提供一張照片和一段語音，就能讓照片中的人物進行說話、唱歌甚至進行動作，為數字內容創作帶來了革命性的突破。

hallo framework

主要功能介紹：

  • 語音動畫同步：用戶只需上傳一張照片及一段WAV格式的英語語音，Hallo AI就能使照片中的人物按語音內容進行動作，包括說話和唱歌。
  • 動作自然流暢：結合精確的面部識別和動作捕捉技術，保證人物動作的自然流暢，令人印象深刻。

技術框架：

  • 音頻處理：使用Kim_Vocal_2 MDX-Net的vocal removal模型分離語音。
  • 面部分析：透過insightface進行2D和3D的臉部分析。
  • 面部標記：利用mediapipe的面部檢測和mesh模型進行精確標記。
  • 動作模組：AnimateDiff的動作模組為動作生成提供支持。
  • 影像生成：StableDiffusion V1.5和sd-vae-ft-mse模型協同工作，用於生成和調整圖像細節。
  • 聲音向量化：Facebook的wav2vec模型將WAV音頻轉換為向量數據。

安裝方法

盡量採用 Linux 平台，我這邊測試成功的有 Ubuntu 20 WSL 版本，就可以簡單三個步驟，部過前提要記得先安裝好 WSL CUDA 支援

1.建立虛擬環境

  conda create -n hallo python=3.10
  conda activate hallo

2.安裝相關的依賴

  pip install -r requirements.txt
  pip install .

3.要有 ffmpeg 支援

  apt-get install ffmpeg

4.測試與驗證

python scripts/inference.py --source_image examples/reference_images/1.jpg --driving_audio examples/driving_audios/1.wav

最近更新：

  • 在🤗Huggingface空間克隆了一個Gradio演示。
  • 新增Windows版本、ComfyUI界面、WebUI和Docker模板。

參考資料

Hallo GitHub

Hallo Model

大神開發的Windows介面

Hallo 線上版本

Hallo Docker版

影片跳舞合成

探索視覺新境界：Luma AI Dream Machine帶來的AI動畫革命
如何用LeiaPix將你的照片轉變為迷人的3D動畫
Rope：您的一鍵換臉AI新工具選擇(千萬別拿去做壞事)

Rope：您的一鍵換臉AI新工具選擇(千萬別拿去做壞事)

by | 11 月 8, 2023 | AI, 人臉辨識, 圖型處理, 影片製作, 繪圖

Rope以其令人矚目的功能，站在了這場技術革新的前沿。這款AI工具不僅能夠輕鬆去除臉部遮擋，更整合了多種高清化算法，讓處理速度快如閃電。然而，在介紹如何安裝和使用Rope之前，我們必須提醒每一位用戶：這項強大的技術應當用於正當的創造和學術研究，千萬別拿去做壞事。現在，讓我們詳細了解如何在您的本地設備上安裝並運行Rope。

安裝必要軟體

在開始使用Rope之前，需要先安裝一些必要的軟體：

  1. 安裝Python
  2. 安裝FFmpeg
    • FFmpeg是處理影片不可或缺的組件，可以通過命令行進行安裝，或是參考我之前的ffmpeg教學。
  3. Nvidia顯卡安裝CUDA
    • 為了充分發揮Rope的性能，Nvidia顯卡用戶應安裝CUDA 11.8，這對於AI運算至關重要。

安裝Rope

安裝了必要的軟體後，便可以開始安裝Rope：

  1. 下載Rope壓縮包
  2. 安装visual studio 2022
  3. 創建虛擬環境
    • 使用Python建立一個新的虛擬環境，這有助於管理依賴包和版本。
    • python -m venv venv
  4. 啟動虛擬環境
    • 透過命令行啟動虛擬環境，準備安裝Rope。
    • call venv\scripts\activate.bat
  5. 安裝依賴包
    • 在虛擬環境中，使用pip指令安裝Rope需要的所有依賴包。
    • pip install -r requirements.txt
    • 如果安裝失敗，要先執行下面的指令
    • pip install –no-cache-dir -r requirements.txt
    • pip uninstall onnxruntime onnxruntime-gpu
    • pip install onnxruntime-gpu==1.15.0
  6. 下載換臉模型

透過這些步驟，您可以在本地機器上成功安裝和配置Rope，並開始進行高效的臉部轉換。隨著AI技術的快速發展，Rope提供了一個既方便又強大的工具，使創意和創新更加無限。

操作指南：如何使用Rope進行批量換臉

請先確認安裝 Rope 已經成功，接著，遵循以下步驟來執行Rope的批量換臉功能：

  1. 打開命令提示字元
    • 輸入cmd並運行，以打開命令窗口。
  2. 進入Rope的本地根目錄
    • 使用cd命令切換到存放Rope應用程式的目錄。
  3. 激活虛擬環境
    • 通過執行call venv\Scripts\activate.bat指令來激活Rope的Python虛擬環境。
  4. 運行Rope主程式
    • 使用python run.py --execution-provider cuda指令，開始執行批量換臉處理。

自定義選項：提升處理質量與效率

Rope提供多個可選參數來滿足用戶的特定需求：

  • 面部增強
    • 加入face_enhancer選項，可以對換臉後的面部進行增強處理，使其更加清晰細緻。
    • python run.py –execution-provider cuda face_enhancer
  • 調整輸出視頻質量
    • 使用--video-quality選項並指定一個0到50的數值（數值越小，輸出質量越高）。
    • python run.py –execution-provider cuda –video-quality 1
  • 指定內存使用
    • 若需要管理程序的內存使用，可透過--max-memory選項設定最大內存限制。
    • python run.py –execution-provider cuda –max-memory 16
  • 指定執行線程
    • 對於較老的Nvidia顯卡，可使用--execution-threads來指定執行線程數，以達到最佳運行效能。
    • python run.py –execution-provider cuda –execution-threads 2
    • 預設是4

使用方法可以看YT

Rope又一款强大的一键换脸AI！可消除脸部遮挡，多种高清化算法，飞一般的处理速度！本地安装与参数使用详解。 – YouTube

解除roop检测深度换脸 – YouTubehttps://www.youtube.com/watch?v=YH4hB3wmRcQ

roop新奇用法：一键直播换脸、批量换图 – YouTube

Rope 分支

https://github.com/Hillobar/Rope/

https://github.com/s0md3v/sd-webui-roop