by Rain Chu | 7 月 9, 2026 | AI, TTS
Qwen3-TTS 這次真正補上的，不只是「又一個開源 TTS 模型」，而是把 AI 語音從單純文字轉語音，往「可以設計聲音」推了一步。對創作者來說，這個差異很大：以前多半是找一段參考音頻去克隆，現在可以先用文字描述你想要的音色，再生成符合角色感的聲音。
我會把 Qwen3-TTS 放在本地 TTS 工具鏈的一個重要位置：它不是完全取代 Index TTS2，也不是只適合做 demo，而是補上了「音色捏臉」這個創作端很需要的能力。尤其當它被包進 ComfyUI 節點後，對做短片、角色對白、旁白、多角色音頻工作流的人會更順手。
如果你之前已經看過 VoxelCPM 本地 TTS 或 本地即時語音 Agent，Qwen3-TTS 可以理解成另一條更偏「創作型語音生成」的路線。
先講結論：Qwen3-TTS 最值得看的是音色設計
Qwen3-TTS 的幾個核心能力可以拆成三塊：音色設計、音色克隆、自訂聲音與情緒控制，音色克隆大家比較熟，給一段參考音頻，再讓模型生成相似聲音；真正新鮮的是音色設計，你可以用提示詞描述聲音，例如年齡、性別、顆粒感、情緒、語氣、角色氣質。
這件事對內容創作很實用。做科幻短片時，你可以要一個「低沉、沙啞、有壓迫感的中年男聲」；做兒童故事時，可以要「明亮、溫柔、帶笑意的年輕女聲」；做遊戲角色時，可以先把聲音當成角色設定的一部分，而不是等拿到參考音頻後才開始克隆。
這也是 Qwen3-TTS 和 Index TTS2 的關鍵差異，Index TTS2 在參考音頻和情緒控制上仍然很靈活，但 Qwen3-TTS 把「從文字描述生成音色」這件事做成主能力，兩者不是誰完全取代誰，而是切入點不同。
Qwen3-TTS 的三種用法
從 ComfyUI 節點 README 來看，HAIGC 的 Comfyui-HAIGC-QwenTTS 把 Qwen3-TTS 包成幾個常用節點，最核心的是模型載入、聲音設計、聲音克隆、自訂聲音、角色預設保存與多角色對話合成。
| 用法 | 需要的模型 | 適合場景 | 限制 |
|---|
| 聲音設計 | VoiceDesign | 用文字描述角色聲線，先捏出音色 | 需要會寫清楚聲音提示詞 |
| 聲音克隆 | Base | 用參考音頻生成相似聲音 | 需要參考音頻與對應文本 |
| 自訂聲音 | CustomVoice | 使用預設說話人或提示詞控制聲音 | 情緒與音色控制受模型能力限制 |
| 多角色對話 | 搭配角色預設 | 短劇、廣播劇、遊戲 NPC 對話 | 要管理角色名與預設檔 |
這裡有一個實作上很重要的細節：模型要放在 `ComfyUI/models/qwen-tts/` 下面，節點不會幫你自動下載模型。也就是說，這不是裝好節點就直接能跑，還要自己把 Qwen3-TTS 的對應模型資料夾放到正確位置。
ComfyUI 節點讓它更像創作工作流
如果只看 TTS CLI，Qwen3-TTS 會比較像模型測試。但進到 ComfyUI 節點後，它就開始有工作流價值。你可以把文案、角色聲音、參考音頻、角色預設、多角色對話接成流程，最後輸出可用音頻。
這對影片創作者尤其實用。前面整理 OpenMontage 本地 AI 影片工作流時也提過，影片生成不是只有畫面，旁白、角色語音、字幕和音效都是完整作品的一部分。Qwen3-TTS 這類工具的價值，就是把聲音也放進可控流程裡。
站上之前也整理過 ComfyUI 本機部署工作流。圖像生成和 TTS 看起來是不同領域，但 ComfyUI 的優勢都是一樣的：把模型變成節點，讓創作者能用流程管理。
音色設計：最像「聲音捏臉」的功能
音色設計最適合用在你還沒有參考音頻，但已經知道角色感的情境。比方說，你想要一個「沙啞、低沉、帶警告意味的戰士聲音」，傳統聲音克隆會問你：參考音頻在哪裡？Qwen3-TTS 的 VoiceDesign 則是讓你先用文字描述聲音。
這對角色型內容很關鍵。短劇、遊戲、動畫、解說頻道，都常常不是缺一個真實人聲，而是缺一個「符合角色設定」的聲音。音色設計讓 TTS 從工具變成創作材料，這是我覺得 Qwen3-TTS 最值得測的地方。
但提示詞也會變成新門檻。你不能只寫「好聽的聲音」，最好描述清楚年齡、性別、音域、情緒、語速、質感、場景。例如：
A deep, raspy middle-aged male voice, slow pace, serious and threatening tone, cinematic fantasy character.
中文也可以寫，但英文描述通常比較容易控制細節。之後如果要大量產角色聲音，我會建議把常用聲音提示詞整理成自己的 prompt library。
聲音克隆：自然度不錯，但仍要看參考音頻品質
Qwen3-TTS 的聲音克隆需要參考音頻，也最好提供參考音頻對應的文本，這點和很多 zero-shot voice cloning 工具一樣：參考音頻越乾淨，語速和情緒越穩，克隆結果越容易自然。
這裡我會提醒兩件事。第一，不要拿太吵、太短、音量忽大忽小的音頻當參考；第二，克隆聲音牽涉聲紋與授權問題，不要拿真人聲音去做未經同意的商業使用，工具越方便，這條線越要自己守住。
如果你主要目標是語音克隆，可以把 Qwen3-TTS 和 VoxCPM 語音克隆一起測，不要只看單句 demo，要測長句、情緒、停頓、重複生成穩定性。
情緒控制：Qwen3-TTS 和 Index TTS2 的取捨
Qwen3-TTS 可以透過自訂聲音與預設說話人做某種程度的情緒與語氣控制，但這裡要小心期待值，它的自訂情緒方式更偏「用預設或提示詞控制」，而 Index TTS2 在某些情境下則可以直接用參考音頻帶出情緒，操作上會更直覺。
所以我不會說 Qwen3-TTS 全面打掉 Index TTS2。更準確的說法是：
- 你想從文字描述直接設計聲音，Qwen3-TTS 更值得測。
- 你有很好的參考音頻，想保留聲音和情緒，Index TTS2 仍然有優勢。
- 你要做 ComfyUI 影音工作流，Qwen3-TTS 節點會更容易串進流程。
- 你要穩定量產，兩者都要測長文本、批次生成和錯誤率。
安裝與使用時先注意這幾點
- 模型要自己下載：節點預設讀 `ComfyUI/models/qwen-tts/`，資料夾命名要和模型後綴一致。
- 先確認模型類型：VoiceDesign、Base、CustomVoice 對應的功能不同，載錯模型就會覺得節點怪怪的。
- FP16 / FP32 和 CUDA 要看環境：GPU 跑得快，但顯存、驅動、torch 版本都會影響穩定性。
- 角色預設要管理好：如果要做多角色對話，角色名、.pt 預設檔和對白格式最好固定。
- 節點早期可能有 bug：遇到預設節點跑不起來，先看 GitHub issue 和最新 commit，不要急著判定模型不可用。
如果你只是想快速試用，也可以先用 ModelScope 的 Qwen3-TTS demo 或 RunningHub 工作流感受效果。真正要放進自己的內容生產流程，再回頭做本地 ComfyUI 部署。
適合誰？
我覺得 Qwen3-TTS 特別適合四種人。
- 短片創作者。需要快速做旁白、角色音、警告音、廣播音，不想每次找真人錄音。
- 遊戲與互動敘事作者。多角色對話、NPC 聲音、角色預設會很有用。
- ComfyUI 工作流玩家。想把聲音生成接進圖像、影片、字幕和後製流程。
- 本地 AI 研究者。想比較 Qwen3-TTS、Index TTS2、VoxCPM、ChatTTS 等不同開源 TTS 路線。
如果你只需要最簡單的文字轉語音，反而不一定要上這套。Qwen3-TTS 的價值在於音色設計、角色聲音與工作流整合，而不是單純把一段文字念出來。
資源整理
Qwen3-TTS 補上的是創作者最想要的控制感
Qwen3-TTS 最讓我在意的，不是它又多會念文字，而是它讓聲音開始可以被設計。對內容創作來說，聲音不是最後補上的配件，而是角色、情緒和敘事的一部分。
它目前還不是無腦安裝、無腦量產的工具。模型要自己放、節點要確認版本、不同功能要對應不同模型，ComfyUI 工作流也需要一點整理。但方向很明確：TTS 正在從「文字轉語音」進化成「聲音設計工具」。
一句話總結：Index TTS2 仍然香，但 Qwen3-TTS 把音色捏臉這塊補起來了。之後做角色語音、短劇旁白、多角色對話，我會把它列入優先測試清單。
by Rain Chu | 6 月 6, 2026 | AI, 圖型處理
2026 年最受矚目的 AI 繪圖模型之一，莫過於 Ideogram 團隊正式釋出的：
Ideogram 4
這是 Ideogram 首次公開模型權重（Open Weight），也是目前開源陣營中，在：
- 文字生成（Text Rendering）
- 海報設計
- 品牌廣告
- 排版控制
- JSON 結構化提示詞
官方資料顯示，Ideogram 4 採用 9.3B 參數的單流 Diffusion Transformer（DiT）架構，並支援原生 2K 圖像生成。
本篇將帶你使用 ComfyUI，在本機部署 Ideogram 4。
系統需求
官方模型共有兩個版本：
| 版本 | 量化 |
|---|
| Ideogram 4 FP8 | 品質最佳 |
| Ideogram 4 NF4 | VRAM需求較低 |
目前 ComfyUI 官方整合版本主要使用：
其中 FP8 畫質最佳。
第一步：下載模型
ComfyUI 專用模型
官方：
Comfy-Org Ideogram-4
原始模型：
Ideogram 4 FP8 官方模型
第二步：放置模型檔案
依照官方說明建立目錄。
ComfyUI
│
├─ models
│ ├─ diffusion_models
│ │ ├─ ideogram4_fp8_scaled.safetensors
│ │ └─ ideogram4_unconditional_fp8_scaled.safetensors
│ │
│ ├─ text_encoders
│ │ └─ qwen3vl_8b_fp8_scaled.safetensors
│ │
│ └─ vae
│ └─ flux2-vae.safetensors
第三步：了解每個模型用途
ideogram4_fp8_scaled
主模型
負責：
ideogram4_unconditional_fp8_scaled
CFG 引導模型
負責：
- 提升細節
- 強化 Prompt Follow
- 改善品質
官方建議兩個模型一起使用。若只載入主模型雖可運作，但畫質會下降。
qwen3vl_8b_fp8_scaled
文字編碼器
負責：
- Prompt 理解
- JSON 理解
- 空間推理
- 海報版面配置
flux2-vae
VAE 解碼器
負責將 Latent 轉換成圖片。
第四步：更新 ComfyUI
Ideogram 4 需要最新版本的 ComfyUI。
更新方式：
或：
官方於 Day-0 即已原生支援 Ideogram 4。
第五步：載入官方 Workflow
ComfyUI 官方已提供範例工作流。
建議直接從：
Comfy Blog
下載 Workflow。
基礎工作流架構
Prompt
↓
Qwen3-VL Encoder
↓
Ideogram 4
↓
Sampler
↓
Flux VAE Decode
↓
Save Image
第六步：第一張圖片
測試 Prompt：
A futuristic cyberpunk city at night,
neon signs in Chinese,
cinematic lighting,
ultra detailed,
high contrast,
8k photography
生成尺寸：
推理模式：
第七步：體驗 JSON Prompt
Ideogram 4 最大特色就是：
Structured JSON Prompt
官方模型訓練時即使用 JSON Caption。
範例：海報設計
{
"scene_summary": "Professional technology conference poster",
"background": {
"description": "Modern convention center stage with blue ambient lighting, large LED screen, clean professional environment"
},
"style": {
"description": "Corporate marketing design, professional conference poster, clean typography, premium branding, modern layout"
},
"objects": [
{
"description": "Conference stage",
"bbox": [100, 150, 900, 850],
"colors": ["#0A2540", "#1E88E5", "#FFFFFF"]
}
],
"text_elements": [
{
"text": "AI SUMMIT 2026",
"bbox": [150, 120, 850, 260],
"style": "Large bold white sans-serif title"
},
{
"text": "Future of Artificial Intelligence",
"bbox": [180, 280, 820, 350],
"style": "Medium white subtitle"
},
{
"text": "Taipei International Conference Center",
"bbox": [180, 1050, 820, 1120],
"style": "Small white footer text"
}
]
}
Bounding Box 控制
可直接指定位置。
{
"text_elements":[
{
"text":"SALE 50%",
"bbox":[100,100,500,300]
}
]
}座標範圍：
原點：
這是目前 FLUX 與 Stable Diffusion 所不具備的能力。
色彩盤控制
品牌設計超級好用。
{
"color_palette":[
"#FF6600",
"#FFFFFF",
"#000000"
]
}官方支援：
與 FLUX 比較
FLUX 強項
Ideogram 4 強項
- Logo
- 海報
- Banner
- 電商素材
- 排版設計
- 中文文字生成
若你是：
Ideogram 4 很可能比 FLUX 更適合。
結論
Ideogram 4 不只是另一個 AI 繪圖模型。
它最大的創新在於：
把 Prompt 從自然語言升級為結構化設計規格。
透過：
- Qwen3-VL
- Diffusion Transformer
- JSON Prompt
- Bounding Box
- Color Palette
使用者終於可以像操作 Figma 一樣控制 AI 生成內容。
對於需要：
- 海報設計
- 品牌素材
- Banner 製作
- AI Agent 自動產圖
的開發者來說，Ideogram 4 是目前最值得研究與部署的開源模型之一。
by rainchu | 12 月 18, 2025 | AI, 圖型處理, 影片製作
眾多 AI 創作平台之中，Liblib 憑藉其高度整合的功能、生態完整度以及對中文使用者的極致友善設計，迅速成為中國最領先的 AI 創作平台之一。
一站式 AI 影像與視頻創作平台
Liblib 不僅僅是一個圖片生成網站，而是一個超級齊全的 AI 創作平台，涵蓋：
- AI 圖片生成
- AI 視頻特效與動畫
- 模型管理與分享
- 視覺化工作流（Workflow）
- LoRA 訓練與應用
透過雲端化的設計，使用者無需自行架設環境，即可直接在瀏覽器中使用高階 AI 生成能力。
深度整合 WebUI 與 ComfyUI
對於熟悉 Stable Diffusion 生態的使用者而言，Liblib 最大的優勢之一，在於它同時支援：
- WebUI：操作直覺、上手快速，適合大多數創作者
- ComfyUI：節點式工作流，適合進階用戶進行複雜控制與自動化生成
這種雙軌並行的設計，讓初學者與專業用戶都能在同一平台中找到最適合自己的創作方式。
強大的 LoRA 訓練能力
Liblib 在 LoRA 訓練方面表現尤為突出，提供完整且視覺化的訓練流程：
- 上傳資料集即可開始訓練
- 支援多種風格與角色 LoRA
- 訓練完成後可直接套用於生成
- 社群分享與模型市集機制
這讓創作者能快速打造專屬風格模型，大幅降低 AI 模型訓練的門檻。
中文使用者極度友善
相較於許多國外 AI 平台對中文支援不足，Liblib 在以下方面明顯優於同類產品：
- 完整繁體與簡體中文介面
- 中文 Prompt 理解度高
- 中文模型與 LoRA 資源豐富
- 適合華語創作者的社群內容
對中文內容創作者來說，這是一個真正「為中文而生」的 AI 創作平台。
工作流與創作效率全面升級
Liblib 內建的 工作流系統（Workflow），讓使用者可以：
- 將複雜生成流程模組化
- 重複使用高品質生成邏輯
- 快速套用他人分享的創作流程
- 大幅提升商業與批量創作效率
這對於需要大量產出視覺內容的團隊與個人創作者而言，是極具價值的功能。
為什麼 Liblib 是中國最領先的 AI 創作平台？
綜合來看，Liblib 的核心優勢包括：
- ✅ 視頻特效 + 圖片模型完整整合
- ✅ WebUI 與 ComfyUI 同時支援
- ✅ 強大且易用的 LoRA 訓練
- ✅ 中文高度友善，資源豐富
- ✅ 從新手到專業用戶皆適用
這不僅是一個工具，更是一個完整的 AI 創作生態系。
官方網站
👉 Liblib 官方平台
https://www.liblib.art/
by Rain Chu | 3 月 10, 2025 | AI, 影片製作
探索阿里巴巴開源的 AI 影片製作模型：Wan 2.1
阿里巴巴近期推出的開源影片生成模型——Wan 2.1，為創作者提供了一個強大且高效的工具。該模型不僅完全開源，還具備極快的生成速度，並融入了豐富的東方元素，如哪吒等，為影片創作帶來了新的可能性。
Wan 2.1 的主要特色
完全開源，兼容性強
Wan 2.1 採用 Apache 2.0 協議開源，這意味著開發者可以自由地使用、修改和分發該模型，甚至用於商業用途。此外，Wan 2.1 支援 ComfyUI 等圖形介面，方便用戶進行可視化操作，降低了技術門檻。
高效的影片生成速度
得益於先進的架構設計，Wan 2.1 在影片生成速度上表現優異。即使在消費級 GPU 上，如 RTX 3070 顯卡，使用 1.3B 參數模型即可流暢運行，生成 480P 分辨率的影片，更何況現在已經來到了RTX 5090，這將讓個人也能夠在本地設備上高效地進行影片創作。
豐富的東方元素融入
Wan 2.1 在影片生成中融入了大量的東方元素，特別是中國傳統文化中的角色和場景。例如，模型能夠生成包含哪吒等經典角色的影片，這為喜愛東方文化的創作者提供了更多的創作靈感和素材。
如何離線使用 Wan 2.1 進行影片創作
- 環境準備：首先，確保您的電腦具備足夠的硬體資源，建議使用至少 12GB 顯存的顯卡。
- 下載模型：從官方 GitHub 倉庫或 HuggingFace 平台下載 Wan 2.1 的模型檔案。
- 安裝依賴：根據官方指引，安裝所需的 Python 套件和其他依賴項。
- 運行 ComfyUI：啟動 ComfyUI，載入 Wan 2.1 模型，並按照介面提示輸入文本或上傳圖片，以生成對應的影片內容。
- 下載 ComfyUI 工作流 : JSON
參考資料
https://www.freedidi.com/18705.html
by Rain Chu | 6 月 27, 2024 | AI, 人臉辨識, 影片製作, 語音合成
Fusion Lab 又有新款力作，Hallo AI 可以讓用戶僅需提供一張照片和一段語音，就能讓照片中的人物進行說話、唱歌甚至進行動作，為數字內容創作帶來了革命性的突破。
主要功能介紹：
- 語音動畫同步：用戶只需上傳一張照片及一段WAV格式的英語語音，Hallo AI就能使照片中的人物按語音內容進行動作，包括說話和唱歌。
- 動作自然流暢：結合精確的面部識別和動作捕捉技術，保證人物動作的自然流暢，令人印象深刻。
技術框架：
- 音頻處理：使用Kim_Vocal_2 MDX-Net的vocal removal模型分離語音。
- 面部分析：透過insightface進行2D和3D的臉部分析。
- 面部標記：利用mediapipe的面部檢測和mesh模型進行精確標記。
- 動作模組：AnimateDiff的動作模組為動作生成提供支持。
- 影像生成：StableDiffusion V1.5和sd-vae-ft-mse模型協同工作，用於生成和調整圖像細節。
- 聲音向量化：Facebook的wav2vec模型將WAV音頻轉換為向量數據。
安裝方法
盡量採用 Linux 平台，我這邊測試成功的有 Ubuntu 20 WSL 版本，就可以簡單三個步驟，部過前提要記得先安裝好 WSL CUDA 支援
1.建立虛擬環境
conda create -n hallo python=3.10
conda activate hallo
2.安裝相關的依賴
pip install -r requirements.txt
pip install .
3.要有 ffmpeg 支援
4.測試與驗證
python scripts/inference.py --source_image examples/reference_images/1.jpg --driving_audio examples/driving_audios/1.wav
最近更新：
- 在🤗Huggingface空間克隆了一個Gradio演示。
- 新增Windows版本、ComfyUI界面、WebUI和Docker模板。
參考資料
Hallo GitHub
Hallo Model
大神開發的Windows介面
Hallo 線上版本
Hallo Docker版
影片跳舞合成
近期留言