by rainchu | 12 月 3, 2024 | AI, 圖型處理
TryOffDiff：開創虛擬脫衣的新方向
在電子商務與生成式模型的發展中，虛擬試穿（Virtual Try-On, VTON）技術早已佔據重要一席之地，讓用戶能在數位環境中模擬穿戴效果，但一項新興的任務——虛擬脫衣（Virtual Try-Off, VTOFF）正在改變我們對電子商務中的服裝數位化處理的理解。
什麼是 VTOFF？
虛擬脫衣（VTOFF）是可以從穿著者的單張照片中提取標準化的服裝影像，而不是僅僅模擬服裝穿著的效果，最大的好處是幫助你快速分離模特兒身上的衣服，VTOFF 的挑戰在於，如何準確捕捉服裝的形狀、材質與細節紋理，同時去除穿著者的影響，生成一個純粹且高還原度的服裝影像。
這項任務的核心價值在於：
- 提供標準化的服裝圖像，有助於電子商務中的產品展示。
- 評估生成式模型的重建能力，成為模型研究與改進的重要工具。
試用 VTOFF
TryOffDiff：專為 VTOFF 打造的生成模型
針對 VTOFF 的挑戰，TryOffDiff 模型應運而生。這是一種基於 Stable Diffusion 的生成架構，結合了 SigLIP 視覺條件技術，確保高還原度與細節保留。與傳統的虛擬試穿和姿態轉移技術相比，TryOffDiff 擁有以下優勢：
- 重建品質卓越：TryOffDiff 在處理服裝紋理、複雜細節以及準確的形狀表現上表現突出。
- 簡化處理流程：不需要繁瑣的前處理與後處理步驟，顯著提高效率。
- 改進的評估方法：傳統影像生成指標難以準確衡量重建品質，TryOffDiff 使用 DISTS（Deep Image Structure and Texture Similarity） 作為評估標準，提供更可靠的結果分析。
實驗成果與應用前景
TryOffDiff 的實驗基於改進版的 VITON-HD 資料集進行，結果顯示其重建表現超越現有基準方法。特別是在以下領域：
- 電子商務：幫助商家輕鬆生成標準化產品影像，提升顧客的購物體驗。
- 生成式模型評估：作為生成模型評估的重要參考，推動更高還原度的技術研究。
- 未來發展：激發針對高品質影像重建的新技術創新。
參考資料
by rainchu | 9 月 3, 2024 | AI, Stable Diffusion, 繪圖
Tensor.art 是一個 AI 的免費線上圖像生成平台，用穩定擴散模型（SD, Stable Diffusion）來生成圖片，用戶可以透過選擇不同的檢查點（模型）和細節調整元素（LURAs）來生成圖像，這些工具允許用戶調整生成圖像的細節和風格，Tensor.art 每天都提供用戶一定數量的免費信用額，一般使用者已經很夠用
技術方面
Tensor.art 提供多種圖像生成選項，包括基於文本的圖像生成和圖像到圖像的轉換。用戶可以通過上傳參考圖像和相應的文本提示來精確控制生成的圖像類型和風格。此外，平台還支持使用控制網格（Control Net）進一步細調圖像的外觀，以及高解析度修正工具來解決非標準長寬比圖像生成時可能出現的問題。
Tensor.art 的界面友善，適合各種經驗水平的用戶。新手可以利用預設的模型和設置快速開始，而經驗豐富的創作者則可以探索更多高級功能，如自定義種子、詳細程度調整和不同的取樣方法，這些功能提供了豐富的視覺特性和個性化選項。
參考資料
by Rain Chu | 10 月 27, 2023 | AI, 繪圖
不論你是否具備繪畫基礎，Fooocus的力量都能幫助你創建出大師級的作品。本文將深入解析Fooocus的核心技術及其使用體驗。
1. Fooocus的核心技術：
- GPT2為基礎的動態風格擴展：這項技術使得Fooocus能夠動態調整畫風，提供用戶更多元的選擇。
- 原生細緻化調整：Fooocus採用先進的k-擴散採樣技術，使得細緻化調整與基礎模型能夠更協同工作，確保作品的連貫性和質量。
- 負向引導：解決了XL基礎模型在最高解析度層面的問題，使得作品更具真實感。
- 自我專注導引的優化：這項技術確保了Fooocus生成的作品永遠不會顯得過於光滑或假象。
2. 使用體驗：
Fooocus的使用界面簡潔明了，即使是零基礎的用戶，也能在短時間內上手。其推薦的配置要求為4GB Nvidia GPU記憶體及8GB系統記憶體，但即便是中低端筆記本，如配備16GB RAM及6GB VRAM的Nvidia 3060，都能達到令人滿意的效果。
3.Fooocus於Windows上的安裝與使用教學
Fooocus不僅為專業的AI繪畫工具，其安裝和使用過程也十分簡單。以下將針對Windows平台進行Fooocus的安裝與使用教學。
下載Fooocus
https://github.com/lllyasviel/Fooocus/releases/download/release/Fooocus_win64_2-1-60.7z
解壓縮後放在Fooocus_win64_2-1-60目錄下
下載模型檔
sd_xl_base_1.0_0.9vae.safetensors
sd_xl_refiner_1.0_0.9vae.safetensors
模型檔需要放在 Fooocus\models\checkpoints\ 目錄下
Fooocus的修圖控制模型
控制模型要放在 Fooocus\models\inpaint\ 目錄下
第一次使用以及安裝
執行解壓縮目錄下的 run.bat
Fooocus_win64_2-1-60\run.bat
這時候會做好模型下載以及基本設定，並且在本地端起一個 http://127.0.0.1:7860/ 伺服器
接下來用瀏覽器開啟該網址即可，超簡單
原始碼
https://github.com/lllyasviel/Fooocus
延伸閱讀
by Rain Chu | 10 月 8, 2023 | AI, Stable Diffusion, 繪圖
想像一下你站在廣闊的海岸邊，眼前是無盡的海洋，手中只有基礎的裝備和對攝影的憧憬。作為攝影小白，這片大海是你的開始。但在 Stable Diffusion 的領航下，這片海洋將成為你的遊樂場，你將學會如何巧妙地駕馭它，使其成為你創作的源泉。
首先，每位航海者都必須確保他的基本技能。與其說是從一個小小的池塘開始，不如說是從海洋的深處 ，一個真正的 masterpiece — 開始。在這片廣大的航道上，有無數的工具(詠唱魔法)和技巧等待你去探索和利用。
攝影作品
比如masterpiece, photography, masterpiece, best quality, 8K和HDR技術。
兼顧品質
透過 highest 和 absurdres:的技巧，你可以確保每一張照片都如同深海中的珍珠，閃閃發光、獨一無二。
美好的底片技術
當然，這片航道上也有古老的傳說。很多前輩航海者都還記得 Kodak portra 400 膠片的年代。那種 film grain 的質感就像古老的航海圖，充滿了神秘和冒險的味道。雖然我們現在大多數使用數位技術，但那種質感和感覺是我們可以從中學習和模仿的。
成為大師要會的模糊、散景和光暈
在這片偉大的航道上，你將學會如何捕捉那完美的 blurry background、bokeh 和 lens flare。這些都像是海上的燈塔，指引著你，使你的作品從海洋中脫穎而出。
讓顏色豐富
顏色在這片航道上也扮演著極其重要的角色。學會如何運用和強調 vibrant color:你的照片將如同繽紛的珊瑚礁，吸引眾多的目光。
提詞
正向提詞： photography, masterpiece, best quality, 8K, HDR, highres, absurdres:1.2, Kodak portra 400, film grain, blurry background, bokeh:1.2, lens flare, (vibrant color:1.2)
反面提詞： nsfw, paintings, sketches, (worst quality:2), (low quality:2), (normal quality:2), lowres
提詞參考網站
https://prompthero.com/
同場加映
by Rain Chu | 5 月 3, 2023 | Stable Diffusion, 未分類, 繪圖
Stable Diffusion 最近太火紅，是好處也是壞處，好處是更新的速度超快，也代表進步的超快，壞處是每次更新，都需要工程師介入居多，複雜的設定，難懂的語言(只有工程師能懂)，都阻礙著更新的進步，這邊用白話文分享如何更新關鍵資源
torch 1.13.1 -> torch 2.0.0
當你跑 run.bat 的時候會出現以下訊息，告訴你應該要申請 torch 了，升級的方法是在執行 webui.bat 的時候，加入 –reinstall-torch，觸發程式去更新 torch
也可以在 lauch.py 中修改 COMMANDLINE_ARGS 加入 –reinstall-torch
@echo off
set PYTHON=
set GIT=
set VENV_DIR=
set COMMANDLINE_ARGS=--reinstall-torch
call webui.bat
重新執行 run.bat 後就會看到開始更新了
更新 xformers
更新 xformers 與更新 torch 類似
我們一樣修改 COMMANDLINE_ARGS 加入 –reinstall-xformers ，然後重新執行 run.bat ，就會啟動更新程序
@echo off
set PYTHON=
set GIT=
set VENV_DIR=
set COMMANDLINE_ARGS=--reinstall-xformers
call webui.bat
更新後的錯誤處理方法
若是更新後啟動失敗，通常是沒 Torch 無法使用 GPU ，那就要加入指令 COMMANDLINE_ARGS=–skip-torch-cuda-test
@echo off
set PYTHON=
set GIT=
set VENV_DIR=
set COMMANDLINE_ARGS=--skip-torch-cuda-test
call webui.bat
AI-繪圖總整理-StableDiffusion – 雨 (rain.tips)
近期留言