by rainchu 8 月 9, 2024 | AI , 影片製作
LivePortrait 是一個先進且有趣的影像生成技術，它不僅讓靜態肖像圖片動起來，變得栩栩如生，還能讓用戶在不同的角色之間進行變換，甚至能做到將一位大叔轉變成美女，美女變會跳舞的效果。這項技術目前在GitHub上獲得了10K顆星的高度關注，顯示了它在開源社群中的受歡迎程度。
什麼是 LivePortrait？
LivePortrait 是一個能夠讓靜態人像圖片進行動畫化的技術。該技術的核心是將人臉動作從一個人像轉移到另一個人像上，從而實現讓靜態圖片「動起來」的效果。與傳統的動畫技術相比，LivePortrait 的計算效率更高，並且生成的影像更加自然、流暢。
主要特點
縫合與重定位控制 ：LivePortrait 的關鍵特點之一是它的縫合與重定位控制技術。這讓用戶可以將不同的面部特徵縫合到一個目標人像上，並進行動畫化。例如，將一位大叔的臉與美女的臉部特徵進行結合，然後動畫化，達到讓大叔秒變美女的有趣效果。高效的處理能力 ：這個技術使用了一種高效的算法，能夠在較短的時間內生成高質量的動畫效果，適合用於即時應用或者在線處理需求。開源社群的熱烈反響 ：LivePortrait 的 GitHub 項目自發布以來，已經累積了7.9K顆星，成為了開源社群中的一個熱門項目。這顯示了技術人員與開發者對這項技術的認可與支持。
應用場景
LivePortrait 的應用場景非常廣泛，從娛樂到專業用途都有所涉及。舉例來說，它可以用於製作逼真的動畫表情，為虛擬角色賦予生命，或者在影像特效中實現面部交換等功能。其高度的可定製性也讓它成為許多創意工作者的工具首選。
安裝方法
原始項目網址 https://github.com/KwaiVGI/LivePortrait
安裝程式
git clone https://github.com/KwaiVGI/LivePortrait
cd LivePortrait
# create env using conda
conda create -n LivePortrait python=3.9
conda activate LivePortrait
# 安裝相關依賴
pip install -r requirements.txt 下載預訓練資料
# !pip install -U "huggingface_hub[cli]"
huggingface-cli download KwaiVGI/LivePortrait --local-dir pretrained_weights --exclude "*.git*" "README.md" "docs" 如果不能存取 Huggingface
# !pip install -U "huggingface_hub[cli]"
export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download KwaiVGI/LivePortrait --local-dir pretrained_weights --exclude "*.git*" "README.md" "docs" 執行視窗
# For Linux and Windows users
python inference.py
# For macOS users with Apple Silicon (Intel is not tested). NOTE: this maybe 20x slower than RTX 4090
PYTORCH_ENABLE_MPS_FALLBACK=1 python inference.py 指令碼
# source input is an image
python inference.py -s assets/examples/source/s9.jpg -d assets/examples/driving/d0.mp4
# source input is a video ✨
python inference.py -s assets/examples/source/s13.mp4 -d assets/examples/driving/d0.mp4
# more options to see
python inference.py -h 超酷的寵物模式
先安裝寵物模式
cd src/utils/dependencies/XPose/models/UniPose/ops
python setup.py build install
cd - # equal to cd ../../../../../../../ 要使用的時候只需要下
python inference_animals.py -s assets/examples/source/s39.jpg -d assets/examples/driving/wink.pkl --driving_multiplier 1.75 --no_flag_stitching Huggingface 上使用
https://huggingface.co/spaces/KwaiVGI/LivePortrait
參考資料
VIDEO
by Rain Chu 6 月 27, 2024 | AI , 人臉辨識 , 影片製作 , 語音合成
主要功能介紹：
語音動畫同步 ：用戶只需上傳一張照片及一段WAV格式的英語語音，Hallo AI就能使照片中的人物按語音內容進行動作，包括說話和唱歌。動作自然流暢 ：結合精確的面部識別和動作捕捉技術，保證人物動作的自然流暢，令人印象深刻。
技術框架：
音頻處理 ：使用Kim_Vocal_2 MDX-Net的vocal removal模型分離語音。面部分析 ：透過insightface進行2D和3D的臉部分析。面部標記 ：利用mediapipe的面部檢測和mesh模型進行精確標記。動作模組 ：AnimateDiff的動作模組為動作生成提供支持。影像生成 ：StableDiffusion V1.5和sd-vae-ft-mse模型協同工作，用於生成和調整圖像細節。聲音向量化 ：Facebook的wav2vec模型將WAV音頻轉換為向量數據。
安裝方法
盡量採用 Linux 平台，我這邊測試成功的有 Ubuntu 20 WSL 版本，就可以簡單三個步驟，部過前提要記得先安裝好 WSL CUDA 支援
1.建立虛擬環境
conda create -n hallo python=3.10
conda activate hallo 2.安裝相關的依賴
pip install -r requirements.txt
pip install . 3.要有 ffmpeg 支援
4.測試與驗證
python scripts/inference.py --source_image examples/reference_images/1.jpg --driving_audio examples/driving_audios/1.wav 最近更新：
在🤗Huggingface空間克隆了一個Gradio演示。
新增Windows版本、ComfyUI界面、WebUI和Docker模板。
參考資料
Hallo GitHub
Hallo Model
大神開發的Windows介面
Hallo 線上版本
Hallo Docker版
影片跳舞合成
by Rain Chu 11 月 8, 2023 | AI , 人臉辨識 , 圖型處理 , 影片製作 , 繪圖
Rope以其令人矚目的功能，站在了這場技術革新的前沿。這款AI工具不僅能夠輕鬆去除臉部遮擋，更整合了多種高清化算法，讓處理速度快如閃電。然而，在介紹如何安裝和使用Rope之前，我們必須提醒每一位用戶：這項強大的技術應當用於正當的創造和學術研究，千萬別拿去做壞事。現在，讓我們詳細了解如何在您的本地設備上安裝並運行Rope。
安裝必要軟體 在開始使用Rope之前，需要先安裝一些必要的軟體：
安裝Python
安裝FFmpeg
FFmpeg是處理影片不可或缺的組件，可以通過命令行進行安裝，或是參考我之前的ffmpeg教學 。
Nvidia顯卡安裝CUDA
為了充分發揮Rope的性能，Nvidia顯卡用戶應安裝CUDA 11.8 ，這對於AI運算至關重要。
安裝Rope 安裝了必要的軟體後，便可以開始安裝Rope：
下載Rope壓縮包
安装visual studio 2022 創建虛擬環境
使用Python建立一個新的虛擬環境，這有助於管理依賴包和版本。
python -m venv venv
啟動虛擬環境
透過命令行啟動虛擬環境，準備安裝Rope。
call venv\scripts\activate.bat
安裝依賴包
在虛擬環境中，使用pip指令安裝Rope需要的所有依賴包。
pip install -r requirements.txt
如果安裝失敗，要先執行下面的指令
pip install –no-cache-dir -r requirements.txt
pip uninstall onnxruntime onnxruntime-gpu
pip install onnxruntime-gpu==1.15.0
下載換臉模型
透過這些步驟，您可以在本地機器上成功安裝和配置Rope，並開始進行高效的臉部轉換。隨著AI技術的快速發展，Rope提供了一個既方便又強大的工具，使創意和創新更加無限。
操作指南：如何使用Rope進行批量換臉 請先確認安裝 Rope 已經成功，接著，遵循以下步驟來執行Rope的批量換臉功能：
打開命令提示字元
進入Rope的本地根目錄
激活虛擬環境
通過執行call venv\Scripts\activate.bat指令來激活Rope的Python虛擬環境。
運行Rope主程式
使用python run.py --execution-provider cuda指令，開始執行批量換臉處理。
自定義選項：提升處理質量與效率 Rope提供多個可選參數來滿足用戶的特定需求：
面部增強
加入face_enhancer選項，可以對換臉後的面部進行增強處理，使其更加清晰細緻。
python run.py –execution-provider cuda face_enhancer
調整輸出視頻質量
使用--video-quality選項並指定一個0到50的數值（數值越小，輸出質量越高）。
python run.py –execution-provider cuda –video-quality 1
指定內存使用
若需要管理程序的內存使用，可透過--max-memory選項設定最大內存限制。
python run.py –execution-provider cuda –max-memory 16
指定執行線程
對於較老的Nvidia顯卡，可使用--execution-threads來指定執行線程數，以達到最佳運行效能。
python run.py –execution-provider cuda –execution-threads 2
預設是4
使用方法可以看YT
Rope又一款强大的一键换脸AI！可消除脸部遮挡，多种高清化算法，飞一般的处理速度！本地安装与参数使用详解。 – YouTube
解除roop检测深度换脸 – YouTube https://www.youtube.com/watch?v=YH4hB3wmRcQ
roop新奇用法：一键直播换脸、批量换图 – YouTube
Rope 分支
https://github.com/Hillobar/Rope/
https://github.com/s0md3v/sd-webui-roop
by Rain Chu 10 月 27, 2023 | AI , 繪圖
不論你是否具備繪畫基礎，Fooocus的力量都能幫助你創建出大師級的作品。本文將深入解析Fooocus的核心技術及其使用體驗。
1. Fooocus的核心技術：
GPT2為基礎的動態風格擴展 ：這項技術使得Fooocus能夠動態調整畫風，提供用戶更多元的選擇。原生細緻化調整 ：Fooocus採用先進的k-擴散採樣技術，使得細緻化調整與基礎模型能夠更協同工作，確保作品的連貫性和質量。負向引導 ：解決了XL基礎模型在最高解析度層面的問題，使得作品更具真實感。自我專注導引的優化 ：這項技術確保了Fooocus生成的作品永遠不會顯得過於光滑或假象。
2. 使用體驗： Fooocus的使用界面簡潔明了，即使是零基礎的用戶，也能在短時間內上手。其推薦的配置要求為4GB Nvidia GPU記憶體及8GB系統記憶體，但即便是中低端筆記本，如配備16GB RAM及6GB VRAM的Nvidia 3060，都能達到令人滿意的效果。
3.Fooocus於Windows上的安裝與使用教學
Fooocus不僅為專業的AI繪畫工具，其安裝和使用過程也十分簡單。以下將針對Windows平台進行Fooocus的安裝與使用教學。
下載Fooocus https://github.com/lllyasviel/Fooocus/releases/download/release/Fooocus_win64_2-1-60.7z
解壓縮後放在Fooocus_win64_2-1-60目錄下
下載模型檔
sd_xl_base_1.0_0.9vae.safetensors
sd_xl_refiner_1.0_0.9vae.safetensors
模型檔需要放在 Fooocus\models\checkpoints\ 目錄下
Fooocus的修圖控制模型
控制模型要放在 Fooocus\models\inpaint\ 目錄下
第一次使用以及安裝
執行解壓縮目錄下的 run.bat
Fooocus_win64_2-1-60\run.bat 這時候會做好模型下載以及基本設定，並且在本地端起一個 http://127.0.0.1:7860/ 伺服器
接下來用瀏覽器開啟該網址即可，超簡單
原始碼
https://github.com/lllyasviel/Fooocus
延伸閱讀
VIDEO
by Rain Chu 7 月 16, 2023 | AI , Chat
在這篇文章中，我們將深入探索如何透過利用OpenAI的語言模型ChatGPT來創作長篇小說，並突破其輸入輸出字數的限制。透過技術和策略性的實作，我們將探討如何把片段性的產出整合成一個有連貫性的故事，同時探討如何保持角色和劇情的一致性。此外，我們也將討論在創作過程中可能遇到的挑戰，以及如何進行有效的修改和校對。讀者將獲得全面的瞭解，深入理解如何將ChatGPT應用於長篇小說創作。
VIDEO
RecurrentGPT將長短期記憶網絡（LSTM）中的向量化元素（例如，細胞狀態、隱藏狀態、輸入和輸出）用自然語言（即，文本段落）替換，在每個時間步長t，RecurrentGPT接收一段在t-1步生成的文本段落以及對下一段的簡短計劃。然後，它將關注到長期記憶，長期記憶包含所有以前生成的段落的摘要。
延伸閱讀
近期留言