by Rain Chu | 6 月 27, 2024 | AI, 人臉辨識, 影片製作, 語音合成
Fusion Lab 又有新款力作，Hallo AI 可以讓用戶僅需提供一張照片和一段語音，就能讓照片中的人物進行說話、唱歌甚至進行動作，為數字內容創作帶來了革命性的突破。
主要功能介紹：
- 語音動畫同步：用戶只需上傳一張照片及一段WAV格式的英語語音，Hallo AI就能使照片中的人物按語音內容進行動作，包括說話和唱歌。
- 動作自然流暢：結合精確的面部識別和動作捕捉技術，保證人物動作的自然流暢，令人印象深刻。
技術框架：
- 音頻處理：使用Kim_Vocal_2 MDX-Net的vocal removal模型分離語音。
- 面部分析：透過insightface進行2D和3D的臉部分析。
- 面部標記：利用mediapipe的面部檢測和mesh模型進行精確標記。
- 動作模組：AnimateDiff的動作模組為動作生成提供支持。
- 影像生成：StableDiffusion V1.5和sd-vae-ft-mse模型協同工作，用於生成和調整圖像細節。
- 聲音向量化：Facebook的wav2vec模型將WAV音頻轉換為向量數據。
安裝方法
盡量採用 Linux 平台，我這邊測試成功的有 Ubuntu 20 WSL 版本，就可以簡單三個步驟，部過前提要記得先安裝好 WSL CUDA 支援
1.建立虛擬環境
conda create -n hallo python=3.10
conda activate hallo
2.安裝相關的依賴
pip install -r requirements.txt
pip install .
3.要有 ffmpeg 支援
4.測試與驗證
python scripts/inference.py --source_image examples/reference_images/1.jpg --driving_audio examples/driving_audios/1.wav
最近更新：
- 在🤗Huggingface空間克隆了一個Gradio演示。
- 新增Windows版本、ComfyUI界面、WebUI和Docker模板。
參考資料
Hallo GitHub
Hallo Model
大神開發的Windows介面
Hallo 線上版本
Hallo Docker版
影片跳舞合成
by Rain Chu | 6 月 21, 2024 | AI, 影片製作
Haiper AI 是一個超酷且利用AI來創作視頻內容的創新平台。由來自 Google DeepMind、TikTok 及其他頂尖研究機構的校友創建，Haiper 將尖端的機器學習技術與創意相結合，致力於為使用者提供簡單直觀且強大的視頻創作工具。
核心功能
文本生成視頻：
Haiper 提供文本生成視頻的功能，使用者只需輸入文本描述，就能創作出引人入勝的動畫視覺故事。這項功能讓視頻創作變得簡單且高效，即使是沒有專業技術背景的使用者也能輕鬆上手。
圖像生成視頻：
除了文本生成視頻外，Haiper 還能將靜態圖像轉化為動態視頻。使用者可以通過拖放圖像，並利用 AI 技術賦予這些圖像新的生命，使其變得生動有趣。
視頻重繪：
Haiper 的視頻重繪工具允許使用者輕鬆修改視頻中的顏色、紋理及元素。這項功能讓使用者能夠根據自己的需求對現有視頻進行重新創作，提升視頻的視覺效果和吸引力 。
創意社區與使用者友好
Haiper 不僅是一個視頻創作工具，更是一個鼓勵創意和分享的社區，可以一鍵快速的發布你的作品，平台強調用戶互動，收集用戶反饋來不斷改進和發展其 AI 模型，確保其能夠滿足多樣化的創意需求。Haiper 的使命是通過技術的力量來激發創造力，讓每一個人都能夠輕鬆地表達自己的創意 。
更多信息請訪問 Haiper 官方網站。
參考資料
by Rain Chu | 6 月 21, 2024 | AI, 影片製作
PixVerse是其中一個令人驚艷的AI工具，能夠簡化影片製作的流程，還能生成出超現實的效果。以下是PixVerse的一些亮點：
1. 超多寫實的電影場景
PixVerse 提供了一個豐富的電影場景庫，涵蓋了各種不同風格和題材的場景。無論是科幻未來城市還是古典歐洲城堡，使用者都可以輕鬆找到適合自己影片的背景。這些場景不僅僅是靜態圖片，而是經過精心設計和渲染的3D環境，能夠帶給觀眾身臨其境的視覺體驗。
2. 自由用遮罩控制需要運動的物件
在影片製作中，物件的運動和互動是至關重要的。PixVerse 讓使用者能夠通過遮罩技術，自由控制影片中各種物件的運動方向和速度。例如，在製作一部鯊魚主題的影片時，使用者可以使用遮罩來精確控制鯊魚的游泳方向，讓影片更加真實和生動。這種自由度讓影片製作變得更加靈活和創意十足。
3. 利用人物生成視頻功能
除了場景和物件運動，PixVerse 還具備利用人物生成視頻功能。使用者可以根據自己的需求，調整角色的外觀、動作和表情。這些角色不僅外觀真實，而且可以根據劇情需要做出自然的動作和反應。無論是需要一個動作明星還是日常生活中的普通人，PixVerse 都能夠快速生成，極大地節省了角色設計和建模的時間。
參考資料
https://pixverse.ai
by Rain Chu | 6 月 17, 2024 | AI, 影片製作
Luma AI – Dream Machine則是其中一個令人矚目的新星。這個平台具有多項吸引人的特點，尤其適合需要高品質視頻內容的創作者，我們來針對我發現的特色做分析
每天免費點數：
Luma AI Dream Machine提供了一個用戶友好的特點，即每天都有免費點數供用戶使用。這使得即使是預算有限的用戶也能夠探索平台的功能並製作高質量的視頻。
文字及圖片轉化為影片：
這個平台能將您的文字描述和圖片轉化為引人入勝的視頻。無論您是想將一個故事、說明或是任何視覺內容轉換成視頻，Luma AI Dream Machine都能助您一臂之力。
高效且可擴展的Transformer模型：
Luma AIDream Machine採用的是一種高效且可擴展的Transformer模型，該模型直接通過影片進行訓練。這種訓練方式使得生成的視頻不僅遵守物理原則，而且場景連貫，富有事件性，極大地提高了視頻的自然度和觀賞性。
擅長人物動畫：
這個平台在人物動畫方面表現尤為出色。它能夠細緻地捕捉人物表情和動作，使得動畫人物行為自然，表情生動，非常適合需要複雜人物互動的劇情視頻。
日系卡通動畫表現強大：
對於喜愛日系卡通風格的用戶來說，Luma AI Dream Machine提供了強大的支持。平台可以生成風格鮮明、色彩豐富的日系卡通動畫，非常適合創作動漫類型的視頻內容。
參考資料
https://lumalabs.ai/dream-machine
by Rain Chu | 5 月 21, 2024 | AI, 影片製作
微軟在2023年Ignite活動上推出了一項出人意料的產品，代表超級大廠也投入換臉的服務
這個新功能名為Azure AI語音文本轉語音虛擬形象，可以讓用戶通過上傳希望虛擬形象相似的人的圖像並編寫劇本來生成虛擬形象的說話視頻。
微軟在博客文章中寫道：“通過文本轉語音虛擬形象，用戶可以更有效地創建視頻……用於製作培訓視頻、產品介紹、客戶推薦等，只需輸入文本。就可以使用虛擬形象來建立會話代理、虛擬助理、聊天機器人等。
Deepfakes Web
https://deepfakesweb.com
Azure 上創建你的服務
你可以在 Azure 中，輸入 deepfake ，就可以找到這項服務
參考資料
by Rain Chu | 3 月 3, 2024 | AI, 影片製作
DeepBrain AI 是一家專注於人工智能技術開發的公司，其創新的AI Video Generator Online平台能夠通過簡單的文字輸入、網址提供或上傳PPT文件，迅速生成一個數字化的主播來講解提供的內容。這項技術不僅改變了內容創建的方式，也為教育、新聞、營銷等多個領域帶來了革命性的影響。
文字轉換視頻
使用DeepBrain AI的AI Video Generator，用戶可以僅通過輸入文字來創建視頻內容。這項技術使用先進的自然語言處理(NLP)來理解文字內容，並將其轉換為數字主播的語音。這意味著用戶可以快速製作新聞報導、產品介紹或任何其他類型的視頻內容，而無需實際拍攝視頻。
網址內容轉換
除了文字輸入之外，DeepBrain AI的平台還允許用戶提供一個網址，系統將自動提取該網頁上的內容，並生成一段由數字主播講解的視頻。這對於想要快速轉換網絡文章或博客為視頻內容的用戶來說，是一個非常有用的功能。
上傳PPT轉換視頻
對於需要將演示文稿轉換為視頻教程或演講的用戶，DeepBrain AI提供了上傳PPT文件的功能。平台將自動分析PPT中的內容，包括文本和圖像，並創建一個數字主播來講解這些內容。這使得教育者和企業專業人士能夠以更互動和吸引人的方式分享他們的知識和信息。
輸出到YouTube
一旦視頻內容被創建，DeepBrain AI的平台還支持將視頻直接上傳到YouTube，這為用戶提供了一種便捷的方式來分享和分發他們的內容。通過這種方式，用戶可以輕鬆地將他們的數字主播創建的視頻推廣到更廣泛的觀眾。
近期留言