by rainchu 9 月 6, 2024 | AI , 影片製作
隨著AI技術的進步，影片製作變得前所未有的簡單，工具也是超級的多，讓人無從選擇，但大多數是西方的畫風，少有東方的模型，而Vidu AI 是一款大陸清華大學設計的 AIGV 工具，讓使用者能夠免費生成 4 秒鐘(免費)或是 8 秒鐘的高品質影片，且不需要任何專業知識即可完成，以下是它的幾個主要特色：
Vidu AI 特色
免費提供高品質影片 東方風格的畫風 電影級的影片製作 多樣化的動畫選項 動態延續的創作流程
參考資料：
Vidu AI 官網
申請 Vidu AI API
by rainchu 9 月 3, 2024 | AI , 影片製作
Plotagon Studio 是一個讓你能夠輕鬆地使用劇本來創作動畫短片的強大工具。無論你是專業的創作者，還是對動畫有興趣的初學者，這款軟體都能滿足你的需求。
Plotagon Studio與傳統的動畫軟體相比，它不需要複雜的繪圖或動畫技巧。你只需要編寫劇本、設置場景、選擇角色，剩下的工作都交給 Plotagon Studio 來完成。這使得它成為了教育、行銷、娛樂等多種領域的理想工具。
如何開始使用 Plotagon Studio
下載並安裝軟體 創建你的第一個項目 編寫劇本 選擇場景與角色 加入音效與背景音樂 預覽與導出
提示與技巧
利用角色表情與動作 合理運用場景轉換 保持對話簡潔
by rainchu 8 月 9, 2024 | AI , 影片製作
LivePortrait 是一個先進且有趣的影像生成技術，它不僅讓靜態肖像圖片動起來，變得栩栩如生，還能讓用戶在不同的角色之間進行變換，甚至能做到將一位大叔轉變成美女，美女變會跳舞的效果。這項技術目前在GitHub上獲得了10K顆星的高度關注，顯示了它在開源社群中的受歡迎程度。
什麼是 LivePortrait？
LivePortrait 是一個能夠讓靜態人像圖片進行動畫化的技術。該技術的核心是將人臉動作從一個人像轉移到另一個人像上，從而實現讓靜態圖片「動起來」的效果。與傳統的動畫技術相比，LivePortrait 的計算效率更高，並且生成的影像更加自然、流暢。
主要特點
縫合與重定位控制 ：LivePortrait 的關鍵特點之一是它的縫合與重定位控制技術。這讓用戶可以將不同的面部特徵縫合到一個目標人像上，並進行動畫化。例如，將一位大叔的臉與美女的臉部特徵進行結合，然後動畫化，達到讓大叔秒變美女的有趣效果。高效的處理能力 ：這個技術使用了一種高效的算法，能夠在較短的時間內生成高質量的動畫效果，適合用於即時應用或者在線處理需求。開源社群的熱烈反響 ：LivePortrait 的 GitHub 項目自發布以來，已經累積了7.9K顆星，成為了開源社群中的一個熱門項目。這顯示了技術人員與開發者對這項技術的認可與支持。
應用場景
LivePortrait 的應用場景非常廣泛，從娛樂到專業用途都有所涉及。舉例來說，它可以用於製作逼真的動畫表情，為虛擬角色賦予生命，或者在影像特效中實現面部交換等功能。其高度的可定製性也讓它成為許多創意工作者的工具首選。
安裝方法
原始項目網址 https://github.com/KwaiVGI/LivePortrait
安裝程式
git clone https://github.com/KwaiVGI/LivePortrait
cd LivePortrait
# create env using conda
conda create -n LivePortrait python=3.9
conda activate LivePortrait
# 安裝相關依賴
pip install -r requirements.txt 下載預訓練資料
# !pip install -U "huggingface_hub[cli]"
huggingface-cli download KwaiVGI/LivePortrait --local-dir pretrained_weights --exclude "*.git*" "README.md" "docs" 如果不能存取 Huggingface
# !pip install -U "huggingface_hub[cli]"
export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download KwaiVGI/LivePortrait --local-dir pretrained_weights --exclude "*.git*" "README.md" "docs" 執行視窗
# For Linux and Windows users
python inference.py
# For macOS users with Apple Silicon (Intel is not tested). NOTE: this maybe 20x slower than RTX 4090
PYTORCH_ENABLE_MPS_FALLBACK=1 python inference.py 指令碼
# source input is an image
python inference.py -s assets/examples/source/s9.jpg -d assets/examples/driving/d0.mp4
# source input is a video ✨
python inference.py -s assets/examples/source/s13.mp4 -d assets/examples/driving/d0.mp4
# more options to see
python inference.py -h 超酷的寵物模式
先安裝寵物模式
cd src/utils/dependencies/XPose/models/UniPose/ops
python setup.py build install
cd - # equal to cd ../../../../../../../ 要使用的時候只需要下
python inference_animals.py -s assets/examples/source/s39.jpg -d assets/examples/driving/wink.pkl --driving_multiplier 1.75 --no_flag_stitching Huggingface 上使用
https://huggingface.co/spaces/KwaiVGI/LivePortrait
參考資料
by Rain Chu 6 月 27, 2024 | AI , 人臉辨識 , 影片製作 , 語音合成
主要功能介紹：
語音動畫同步 ：用戶只需上傳一張照片及一段WAV格式的英語語音，Hallo AI就能使照片中的人物按語音內容進行動作，包括說話和唱歌。動作自然流暢 ：結合精確的面部識別和動作捕捉技術，保證人物動作的自然流暢，令人印象深刻。
技術框架：
音頻處理 ：使用Kim_Vocal_2 MDX-Net的vocal removal模型分離語音。面部分析 ：透過insightface進行2D和3D的臉部分析。面部標記 ：利用mediapipe的面部檢測和mesh模型進行精確標記。動作模組 ：AnimateDiff的動作模組為動作生成提供支持。影像生成 ：StableDiffusion V1.5和sd-vae-ft-mse模型協同工作，用於生成和調整圖像細節。聲音向量化 ：Facebook的wav2vec模型將WAV音頻轉換為向量數據。
安裝方法
盡量採用 Linux 平台，我這邊測試成功的有 Ubuntu 20 WSL 版本，就可以簡單三個步驟，部過前提要記得先安裝好 WSL CUDA 支援
1.建立虛擬環境
conda create -n hallo python=3.10
conda activate hallo 2.安裝相關的依賴
pip install -r requirements.txt
pip install . 3.要有 ffmpeg 支援
4.測試與驗證
python scripts/inference.py --source_image examples/reference_images/1.jpg --driving_audio examples/driving_audios/1.wav 最近更新：
在🤗Huggingface空間克隆了一個Gradio演示。
新增Windows版本、ComfyUI界面、WebUI和Docker模板。
參考資料
Hallo GitHub
Hallo Model
大神開發的Windows介面
Hallo 線上版本
Hallo Docker版
影片跳舞合成
by Rain Chu 6 月 21, 2024 | AI , 影片製作
Haiper AI 是一個超酷且利用AI來創作視頻內容的創新平台。由來自 Google DeepMind、TikTok 及其他頂尖研究機構的校友創建，Haiper 將尖端的機器學習技術與創意相結合，致力於為使用者提供簡單直觀且強大的視頻創作工具。
核心功能
文本生成視頻 ： Haiper 提供文本生成視頻的功能，使用者只需輸入文本描述，就能創作出引人入勝的動畫視覺故事。這項功能讓視頻創作變得簡單且高效，即使是沒有專業技術背景的使用者也能輕鬆上手。
圖像生成視頻 ： 除了文本生成視頻外，Haiper 還能將靜態圖像轉化為動態視頻。使用者可以通過拖放圖像，並利用 AI 技術賦予這些圖像新的生命，使其變得生動有趣。
視頻重繪： Haiper 的視頻重繪工具允許使用者輕鬆修改視頻中的顏色、紋理及元素。這項功能讓使用者能夠根據自己的需求對現有視頻進行重新創作，提升視頻的視覺效果和吸引力 。
創意社區與使用者友好
Haiper 不僅是一個視頻創作工具，更是一個鼓勵創意和分享的社區，可以一鍵快速的發布你的作品，平台強調用戶互動，收集用戶反饋來不斷改進和發展其 AI 模型，確保其能夠滿足多樣化的創意需求。Haiper 的使命是通過技術的力量來激發創造力，讓每一個人都能夠輕鬆地表達自己的創意 。
更多信息請訪問 Haiper 官方網站 。
參考資料
by Rain Chu 6 月 21, 2024 | AI , 影片製作
PixVerse是其中一個令人驚艷的AI工具，能夠簡化影片製作的流程，還能生成出超現實的效果。以下是PixVerse的一些亮點：
1. 超多寫實的電影場景
PixVerse 提供了一個豐富的電影場景庫，涵蓋了各種不同風格和題材的場景。無論是科幻未來城市還是古典歐洲城堡，使用者都可以輕鬆找到適合自己影片的背景。這些場景不僅僅是靜態圖片，而是經過精心設計和渲染的3D環境，能夠帶給觀眾身臨其境的視覺體驗。
2. 自由用遮罩控制需要運動的物件
在影片製作中，物件的運動和互動是至關重要的。PixVerse 讓使用者能夠通過遮罩技術，自由控制影片中各種物件的運動方向和速度。例如，在製作一部鯊魚主題的影片時，使用者可以使用遮罩來精確控制鯊魚的游泳方向，讓影片更加真實和生動。這種自由度讓影片製作變得更加靈活和創意十足。
3. 利用人物生成視頻功能
除了場景和物件運動，PixVerse 還具備利用人物生成視頻功能。使用者可以根據自己的需求，調整角色的外觀、動作和表情。這些角色不僅外觀真實，而且可以根據劇情需要做出自然的動作和反應。無論是需要一個動作明星還是日常生活中的普通人，PixVerse 都能夠快速生成，極大地節省了角色設計和建模的時間。
參考資料
https://pixverse.ai
近期留言