Select Page
Hallo AI:讓照片動起來,結合語音技術的革命性數字人類

Hallo AI:讓照片動起來,結合語音技術的革命性數字人類


Fusion Lab 又有新款力作,Hallo AI 可以讓用戶僅需提供一張照片和一段語音,就能讓照片中的人物進行說話、唱歌甚至進行動作,為數字內容創作帶來了革命性的突破。

hallo framework

主要功能介紹:

  • 語音動畫同步:用戶只需上傳一張照片及一段WAV格式的英語語音,Hallo AI就能使照片中的人物按語音內容進行動作,包括說話和唱歌。
  • 動作自然流暢:結合精確的面部識別和動作捕捉技術,保證人物動作的自然流暢,令人印象深刻。

技術框架:

  • 音頻處理:使用Kim_Vocal_2 MDX-Net的vocal removal模型分離語音。
  • 面部分析:透過insightface進行2D和3D的臉部分析。
  • 面部標記:利用mediapipe的面部檢測和mesh模型進行精確標記。
  • 動作模組:AnimateDiff的動作模組為動作生成提供支持。
  • 影像生成:StableDiffusion V1.5和sd-vae-ft-mse模型協同工作,用於生成和調整圖像細節。
  • 聲音向量化:Facebook的wav2vec模型將WAV音頻轉換為向量數據。

安裝方法

盡量採用 Linux 平台,我這邊測試成功的有 Ubuntu 20 WSL 版本,就可以簡單三個步驟,部過前提要記得先安裝好 WSL CUDA 支援

1.建立虛擬環境

  conda create -n hallo python=3.10
  conda activate hallo

2.安裝相關的依賴

  pip install -r requirements.txt
  pip install .

3.要有 ffmpeg 支援

  apt-get install ffmpeg

4.測試與驗證

python scripts/inference.py --source_image examples/reference_images/1.jpg --driving_audio examples/driving_audios/1.wav

最近更新:

  • 在🤗Huggingface空間克隆了一個Gradio演示。
  • 新增Windows版本、ComfyUI界面、WebUI和Docker模板。

參考資料

Hallo GitHub

Hallo Model

大神開發的Windows介面

Hallo 線上版本

Hallo Docker版

影片跳舞合成

資料庫-每日自動備份-Ubuntu-MariaDB

今天來實做一個備份任務,要在 Ubuntu 上設定每日凌晨 4:00 自動備份 MariaDB 中的所有資料庫,我們可以使用 cron 和一個自定義的 Shell 腳本來完成這個任務,以下是詳細步驟和代碼:

步驟 1:創建備份腳本

先創建一個備份 Shell Script,這個腳本將備份所有資料庫並分開儲存。

1.在 /usr/local/bin 目錄下創建一個新的 Shell 腳本:

    sudo nano /usr/local/bin/backup_mariadb.sh

    2. Script 的內容指令如下

    #!/bin/bash
    
    # 設定資料庫的用戶名和密碼
    DB_USER="your_db_user"
    DB_PASSWORD="your_db_password"
    DB_HOST="10.0.0.1"
    
    # 設定備份儲存目錄
    BACKUP_DIR="/path/to/backup/dir"
    mkdir -p $BACKUP_DIR
    
    # 獲取當前日期和時間
    CURRENT_DATE=$(date +%Y-%m-%d-%H-%M-%S)
    
    # 獲取所有資料庫名稱
    DATABASES=$(mysql -h$DB_HOST -u$DB_USER -p$DB_PASSWORD -e "SHOW DATABASES;" | tr -d "| " | grep -v Database)
    
    # 備份每個資料庫
    for DB in $DATABASES; do
      if [[ "$DB" != "information_schema" && "$DB" != "performance_schema" && "$DB" != "mysql" && "$DB" != "sys" ]]; then
        BACKUP_FILE="$BACKUP_DIR/$CURRENT_DATE-$DB.sql"
        mysqldump  -h$DB_HOST -u$DB_USER -p$DB_PASSWORD --databases $DB > $BACKUP_FILE
      fi
    done

    其中要修改的有

    • DB_HOST : 要改成自己的
    • your_db_user : 資料庫中有備份權限的使用者 ID
    • your_db_password : 密碼
    • BACKUP_DIR=”/path/to/backup/dir” : 要改成你要存放的路徑,像是 /var/backup_db/

    3.將 .sh 變成可執行擋

    sudo chmod +x /usr/local/bin/backup_mariadb.sh

    步驟 2:設置 Cron 任務

    1.打開 cron

    crontab -e

    2.加入設定內容,要注意的是實間是主機時間,通常主機是 UTC+0 的時區,要注意轉換,才會是正確的當地時間,可以參考這篇

    0 4 * * * /usr/local/bin/backup_mariadb.sh

    這樣就會在每天的早上四點去備份資料庫了

    加入每一個SQL檔案都可以被壓縮的功能

    程式碼區塊要改成下面這一個

    # 備份每個資料庫並壓縮
    for DB in $DATABASES; do
      if [[ "$DB" != "information_schema" && "$DB" != "performance_schema" && "$DB" != "mysql" && "$DB" != "sys" ]]; then
        BACKUP_FILE="$BACKUP_DIR/$CURRENT_DATE-$DB.sql"
        ZIP_FILE="$BACKUP_DIR/$CURRENT_DATE-$DB.zip"
        mysqldump -h$DB_HOST -u$DB_USER -p$DB_PASSWORD --databases $DB > $BACKUP_FILE
        zip $ZIP_FILE $BACKUP_FILE
        rm $BACKUP_FILE
      fi
    done

    刪除舊資料

    可以利用下面的指令,放在程式碼的最後面

    # 刪除兩天前的備份文件
    find $BACKUP_DIR -type f -name "*.zip" -mtime +2 -exec rm {} \;

    需要改時間的話,只要修正 -mtime +2 ,把+2改成自己需要的時間

    參考資料

    https://help.ubuntu.com/community/CronHowto

    Haiper AI:革命性的生成視頻內容創作工具

    Haiper AI 是一個超酷且利用AI來創作視頻內容的創新平台。由來自 Google DeepMind、TikTok 及其他頂尖研究機構的校友創建,Haiper 將尖端的機器學習技術與創意相結合,致力於為使用者提供簡單直觀且強大的視頻創作工具。

    核心功能

    文本生成視頻

    Haiper 提供文本生成視頻的功能,使用者只需輸入文本描述,就能創作出引人入勝的動畫視覺故事。這項功能讓視頻創作變得簡單且高效,即使是沒有專業技術背景的使用者也能輕鬆上手。

    圖像生成視頻

    除了文本生成視頻外,Haiper 還能將靜態圖像轉化為動態視頻。使用者可以通過拖放圖像,並利用 AI 技術賦予這些圖像新的生命,使其變得生動有趣。

    視頻重繪:

    Haiper 的視頻重繪工具允許使用者輕鬆修改視頻中的顏色、紋理及元素。這項功能讓使用者能夠根據自己的需求對現有視頻進行重新創作,提升視頻的視覺效果和吸引力​ 。

    創意社區與使用者友好

    Haiper 不僅是一個視頻創作工具,更是一個鼓勵創意和分享的社區,可以一鍵快速的發布你的作品,平台強調用戶互動,收集用戶反饋來不斷改進和發展其 AI 模型,確保其能夠滿足多樣化的創意需求。Haiper 的使命是通過技術的力量來激發創造力,讓每一個人都能夠輕鬆地表達自己的創意​ 。

    更多信息請訪問 Haiper 官方網站

    參考資料

    PixVerse AI工具:讓你輕鬆創作寫實電影場景

    PixVerse AI工具:讓你輕鬆創作寫實電影場景

    PixVerse是其中一個令人驚艷的AI工具,能夠簡化影片製作的流程,還能生成出超現實的效果。以下是PixVerse的一些亮點:

    1. 超多寫實的電影場景

    PixVerse 提供了一個豐富的電影場景庫,涵蓋了各種不同風格和題材的場景。無論是科幻未來城市還是古典歐洲城堡,使用者都可以輕鬆找到適合自己影片的背景。這些場景不僅僅是靜態圖片,而是經過精心設計和渲染的3D環境,能夠帶給觀眾身臨其境的視覺體驗。

    2. 自由用遮罩控制需要運動的物件

    在影片製作中,物件的運動和互動是至關重要的。PixVerse 讓使用者能夠通過遮罩技術,自由控制影片中各種物件的運動方向和速度。例如,在製作一部鯊魚主題的影片時,使用者可以使用遮罩來精確控制鯊魚的游泳方向,讓影片更加真實和生動。這種自由度讓影片製作變得更加靈活和創意十足。

    3. 利用人物生成視頻功能

    除了場景和物件運動,PixVerse 還具備利用人物生成視頻功能。使用者可以根據自己的需求,調整角色的外觀、動作和表情。這些角色不僅外觀真實,而且可以根據劇情需要做出自然的動作和反應。無論是需要一個動作明星還是日常生活中的普通人,PixVerse 都能夠快速生成,極大地節省了角色設計和建模的時間。

    參考資料

    https://pixverse.ai