Flux API – black-forest-labs(黑森林實驗室中的最強文生圖)
這是由黑森林實驗室所提供的 Flux API，, 原生有提供 Python, Node.js, Http 的範例，價格也很彈性，產圖的效果很好，可以不用自己組建自己的主機，就可以享有 FLUX 的繪圖能力，可以快速且容易的整合進 Dify 工作流程中
參考資料
https://replicate.com/black-forest-labs
LivePortrait:蒙娜麗莎笑起來
LivePortrait 是一個先進且有趣的影像生成技術，它不僅讓靜態肖像圖片動起來，變得栩栩如生，還能讓用戶在不同的角色之間進行變換，甚至能做到將一位大叔轉變成美女，美女變會跳舞的效果。這項技術目前在GitHub上獲得了10K顆星的高度關注，顯示了它在開源社群中的受歡迎程度。
什麼是 LivePortrait？
LivePortrait 是一個能夠讓靜態人像圖片進行動畫化的技術。該技術的核心是將人臉動作從一個人像轉移到另一個人像上，從而實現讓靜態圖片「動起來」的效果。與傳統的動畫技術相比，LivePortrait 的計算效率更高，並且生成的影像更加自然、流暢。
主要特點
- 縫合與重定位控制：LivePortrait 的關鍵特點之一是它的縫合與重定位控制技術。這讓用戶可以將不同的面部特徵縫合到一個目標人像上，並進行動畫化。例如，將一位大叔的臉與美女的臉部特徵進行結合，然後動畫化，達到讓大叔秒變美女的有趣效果。
- 高效的處理能力：這個技術使用了一種高效的算法，能夠在較短的時間內生成高質量的動畫效果，適合用於即時應用或者在線處理需求。
- 開源社群的熱烈反響：LivePortrait 的 GitHub 項目自發布以來，已經累積了7.9K顆星，成為了開源社群中的一個熱門項目。這顯示了技術人員與開發者對這項技術的認可與支持。
應用場景
LivePortrait 的應用場景非常廣泛，從娛樂到專業用途都有所涉及。舉例來說，它可以用於製作逼真的動畫表情，為虛擬角色賦予生命，或者在影像特效中實現面部交換等功能。其高度的可定製性也讓它成為許多創意工作者的工具首選。
安裝方法
原始項目網址 https://github.com/KwaiVGI/LivePortrait
安裝程式
git clone https://github.com/KwaiVGI/LivePortrait cd LivePortrait # create env using conda conda create -n LivePortrait python=3.9 conda activate LivePortrait # 安裝相關依賴 pip install -r requirements.txt
下載預訓練資料
# !pip install -U "huggingface_hub[cli]" huggingface-cli download KwaiVGI/LivePortrait --local-dir pretrained_weights --exclude "*.git*" "README.md" "docs"
如果不能存取 Huggingface
# !pip install -U "huggingface_hub[cli]" export HF_ENDPOINT=https://hf-mirror.com huggingface-cli download KwaiVGI/LivePortrait --local-dir pretrained_weights --exclude "*.git*" "README.md" "docs"
執行視窗
# For Linux and Windows users python inference.py # For macOS users with Apple Silicon (Intel is not tested). NOTE: this maybe 20x slower than RTX 4090 PYTORCH_ENABLE_MPS_FALLBACK=1 python inference.py
指令碼
# source input is an image python inference.py -s assets/examples/source/s9.jpg -d assets/examples/driving/d0.mp4 # source input is a video ✨ python inference.py -s assets/examples/source/s13.mp4 -d assets/examples/driving/d0.mp4 # more options to see python inference.py -h
超酷的寵物模式
先安裝寵物模式
cd src/utils/dependencies/XPose/models/UniPose/ops python setup.py build install cd - # equal to cd ../../../../../../../
要使用的時候只需要下
python inference_animals.py -s assets/examples/source/s39.jpg -d assets/examples/driving/wink.pkl --driving_multiplier 1.75 --no_flag_stitching
Huggingface 上使用
https://huggingface.co/spaces/KwaiVGI/LivePortrait
參考資料
Hallo AI：讓照片動起來，結合語音技術的革命性數字人類
Fusion Lab 又有新款力作，Hallo AI 可以讓用戶僅需提供一張照片和一段語音，就能讓照片中的人物進行說話、唱歌甚至進行動作，為數字內容創作帶來了革命性的突破。
主要功能介紹：
- 語音動畫同步：用戶只需上傳一張照片及一段WAV格式的英語語音，Hallo AI就能使照片中的人物按語音內容進行動作，包括說話和唱歌。
- 動作自然流暢：結合精確的面部識別和動作捕捉技術，保證人物動作的自然流暢，令人印象深刻。
技術框架：
- 音頻處理：使用Kim_Vocal_2 MDX-Net的vocal removal模型分離語音。
- 面部分析：透過insightface進行2D和3D的臉部分析。
- 面部標記：利用mediapipe的面部檢測和mesh模型進行精確標記。
- 動作模組：AnimateDiff的動作模組為動作生成提供支持。
- 影像生成：StableDiffusion V1.5和sd-vae-ft-mse模型協同工作，用於生成和調整圖像細節。
- 聲音向量化：Facebook的wav2vec模型將WAV音頻轉換為向量數據。
安裝方法
盡量採用 Linux 平台，我這邊測試成功的有 Ubuntu 20 WSL 版本，就可以簡單三個步驟，部過前提要記得先安裝好 WSL CUDA 支援
1.建立虛擬環境
conda create -n hallo python=3.10 conda activate hallo
2.安裝相關的依賴
pip install -r requirements.txt pip install .
3.要有 ffmpeg 支援
apt-get install ffmpeg
4.測試與驗證
python scripts/inference.py --source_image examples/reference_images/1.jpg --driving_audio examples/driving_audios/1.wav
最近更新：
- 在🤗Huggingface空間克隆了一個Gradio演示。
- 新增Windows版本、ComfyUI界面、WebUI和Docker模板。
參考資料
Rope：您的一鍵換臉AI新工具選擇(千萬別拿去做壞事)
Rope以其令人矚目的功能，站在了這場技術革新的前沿。這款AI工具不僅能夠輕鬆去除臉部遮擋，更整合了多種高清化算法，讓處理速度快如閃電。然而，在介紹如何安裝和使用Rope之前，我們必須提醒每一位用戶：這項強大的技術應當用於正當的創造和學術研究，千萬別拿去做壞事。現在，讓我們詳細了解如何在您的本地設備上安裝並運行Rope。
安裝必要軟體
在開始使用Rope之前，需要先安裝一些必要的軟體：
- 安裝Python
- 從官方Python網站下載並安裝Python 3.10.6。
- Python Release Python 3.10.6 | Python.org
- 安裝FFmpeg
- FFmpeg是處理影片不可或缺的組件，可以通過命令行進行安裝，或是參考我之前的ffmpeg教學。
- Nvidia顯卡安裝CUDA
- 為了充分發揮Rope的性能，Nvidia顯卡用戶應安裝CUDA 11.8，這對於AI運算至關重要。
安裝Rope
安裝了必要的軟體後，便可以開始安裝Rope：
- 下載Rope壓縮包
- 可以從GitHub上的Rope頁面下載。
- GitHub – Hillobar/Rope: GUI-focused roop
- 安装visual studio 2022
- 創建虛擬環境
- 使用Python建立一個新的虛擬環境，這有助於管理依賴包和版本。
- python -m venv venv
- 啟動虛擬環境
- 透過命令行啟動虛擬環境，準備安裝Rope。
- call venv\scripts\activate.bat
- 安裝依賴包
- 在虛擬環境中，使用pip指令安裝Rope需要的所有依賴包。
- pip install -r requirements.txt
- 如果安裝失敗，要先執行下面的指令
- pip install –no-cache-dir -r requirements.txt
- pip uninstall onnxruntime onnxruntime-gpu
- pip install onnxruntime-gpu==1.15.0
- 下載換臉模型
- 最後，從Rope的Wiki頁面下載換臉模型，這是執行換臉任務必須的。
- Home · Hillobar/Rope Wiki · GitHub
- Download the models
透過這些步驟，您可以在本地機器上成功安裝和配置Rope，並開始進行高效的臉部轉換。隨著AI技術的快速發展，Rope提供了一個既方便又強大的工具，使創意和創新更加無限。
操作指南：如何使用Rope進行批量換臉
請先確認安裝 Rope 已經成功，接著，遵循以下步驟來執行Rope的批量換臉功能：
- 打開命令提示字元
- 輸入cmd並運行，以打開命令窗口。
- 進入Rope的本地根目錄
- 使用
cd命令切換到存放Rope應用程式的目錄。
- 使用
- 激活虛擬環境
- 通過執行
call venv\Scripts\activate.bat指令來激活Rope的Python虛擬環境。
- 通過執行
- 運行Rope主程式
- 使用
python run.py --execution-provider cuda指令，開始執行批量換臉處理。
- 使用
自定義選項：提升處理質量與效率
Rope提供多個可選參數來滿足用戶的特定需求：
- 面部增強
- 加入
face_enhancer選項，可以對換臉後的面部進行增強處理，使其更加清晰細緻。 - python run.py –execution-provider cuda face_enhancer
- 加入
- 調整輸出視頻質量
- 使用
--video-quality選項並指定一個0到50的數值（數值越小，輸出質量越高）。 - python run.py –execution-provider cuda –video-quality 1
- 使用
- 指定內存使用
- 若需要管理程序的內存使用，可透過
--max-memory選項設定最大內存限制。 - python run.py –execution-provider cuda –max-memory 16
- 若需要管理程序的內存使用，可透過
- 指定執行線程
- 對於較老的Nvidia顯卡，可使用
--execution-threads來指定執行線程數，以達到最佳運行效能。 - python run.py –execution-provider cuda –execution-threads 2
- 預設是4
- 對於較老的Nvidia顯卡，可使用
使用方法可以看YT
Rope又一款强大的一键换脸AI！可消除脸部遮挡，多种高清化算法，飞一般的处理速度！本地安装与参数使用详解。 – YouTube
解除roop检测深度换脸 – YouTubehttps://www.youtube.com/watch?v=YH4hB3wmRcQ
roop新奇用法：一键直播换脸、批量换图 – YouTube
Rope 分支
超越想像的界限：Fooocus為您揭示數位創作的無窮可能
不論你是否具備繪畫基礎，Fooocus的力量都能幫助你創建出大師級的作品。本文將深入解析Fooocus的核心技術及其使用體驗。
1. Fooocus的核心技術：
- GPT2為基礎的動態風格擴展：這項技術使得Fooocus能夠動態調整畫風，提供用戶更多元的選擇。
- 原生細緻化調整：Fooocus採用先進的k-擴散採樣技術，使得細緻化調整與基礎模型能夠更協同工作，確保作品的連貫性和質量。
- 負向引導：解決了XL基礎模型在最高解析度層面的問題，使得作品更具真實感。
- 自我專注導引的優化：這項技術確保了Fooocus生成的作品永遠不會顯得過於光滑或假象。
2. 使用體驗：
Fooocus的使用界面簡潔明了，即使是零基礎的用戶，也能在短時間內上手。其推薦的配置要求為4GB Nvidia GPU記憶體及8GB系統記憶體，但即便是中低端筆記本，如配備16GB RAM及6GB VRAM的Nvidia 3060，都能達到令人滿意的效果。
3.Fooocus於Windows上的安裝與使用教學
Fooocus不僅為專業的AI繪畫工具，其安裝和使用過程也十分簡單。以下將針對Windows平台進行Fooocus的安裝與使用教學。
下載Fooocus
https://github.com/lllyasviel/Fooocus/releases/download/release/Fooocus_win64_2-1-60.7z
解壓縮後放在Fooocus_win64_2-1-60目錄下
下載模型檔
sd_xl_base_1.0_0.9vae.safetensors
sd_xl_refiner_1.0_0.9vae.safetensors
模型檔需要放在 Fooocus\models\checkpoints\ 目錄下
控制模型要放在 Fooocus\models\inpaint\ 目錄下
第一次使用以及安裝
執行解壓縮目錄下的 run.bat
Fooocus_win64_2-1-60\run.bat
這時候會做好模型下載以及基本設定，並且在本地端起一個 http://127.0.0.1:7860/ 伺服器
接下來用瀏覽器開啟該網址即可，超簡單
原始碼
https://github.com/lllyasviel/Fooocus
近期留言