虛擬試穿到虛擬脫衣：TryOffDiff 開啟服裝重建新時代

by rainchu | 12 月 3, 2024 | AI, 圖型處理

TryOffDiff：開創虛擬脫衣的新方向

在電子商務與生成式模型的發展中，虛擬試穿（Virtual Try-On, VTON）技術早已佔據重要一席之地，讓用戶能在數位環境中模擬穿戴效果，但一項新興的任務——虛擬脫衣（Virtual Try-Off, VTOFF）正在改變我們對電子商務中的服裝數位化處理的理解。

什麼是 VTOFF？

虛擬脫衣（VTOFF）是可以從穿著者的單張照片中提取標準化的服裝影像，而不是僅僅模擬服裝穿著的效果，最大的好處是幫助你快速分離模特兒身上的衣服，VTOFF 的挑戰在於，如何準確捕捉服裝的形狀、材質與細節紋理，同時去除穿著者的影響，生成一個純粹且高還原度的服裝影像。

這項任務的核心價值在於：

1. 提供標準化的服裝圖像，有助於電子商務中的產品展示。
2. 評估生成式模型的重建能力，成為模型研究與改進的重要工具。

試用 VTOFF

TryOffDiff：專為 VTOFF 打造的生成模型

針對 VTOFF 的挑戰，TryOffDiff 模型應運而生。這是一種基於 Stable Diffusion 的生成架構，結合了 SigLIP 視覺條件技術，確保高還原度與細節保留。與傳統的虛擬試穿和姿態轉移技術相比，TryOffDiff 擁有以下優勢：

1. 重建品質卓越：TryOffDiff 在處理服裝紋理、複雜細節以及準確的形狀表現上表現突出。
2. 簡化處理流程：不需要繁瑣的前處理與後處理步驟，顯著提高效率。
3. 改進的評估方法：傳統影像生成指標難以準確衡量重建品質，TryOffDiff 使用 DISTS（Deep Image Structure and Texture Similarity） 作為評估標準，提供更可靠的結果分析。

實驗成果與應用前景

TryOffDiff 的實驗基於改進版的 VITON-HD 資料集進行，結果顯示其重建表現超越現有基準方法。特別是在以下領域：

1. 電子商務：幫助商家輕鬆生成標準化產品影像，提升顧客的購物體驗。
2. 生成式模型評估：作為生成模型評估的重要參考，推動更高還原度的技術研究。
3. 未來發展：激發針對高品質影像重建的新技術創新。

參考資料