Select Page
Ideogram 4 實作教學:在 ComfyUI 本機部署最強開源 AI 繪圖模型

Ideogram 4 實作教學:在 ComfyUI 本機部署最強開源 AI 繪圖模型

2026 年最受矚目的 AI 繪圖模型之一,莫過於 Ideogram 團隊正式釋出的:

Ideogram 4

這是 Ideogram 首次公開模型權重(Open Weight),也是目前開源陣營中,在:

  • 文字生成(Text Rendering)
  • 海報設計
  • 品牌廣告
  • 排版控制
  • JSON 結構化提示詞

官方資料顯示,Ideogram 4 採用 9.3B 參數的單流 Diffusion Transformer(DiT)架構,並支援原生 2K 圖像生成。

本篇將帶你使用 ComfyUI,在本機部署 Ideogram 4。


系統需求

官方模型共有兩個版本:

版本量化
Ideogram 4 FP8品質最佳
Ideogram 4 NF4VRAM需求較低

目前 ComfyUI 官方整合版本主要使用:

  • FP8
  • NVFP4

其中 FP8 畫質最佳。


第一步:下載模型

ComfyUI 專用模型

官方:

Comfy-Org Ideogram-4

原始模型:

Ideogram 4 FP8 官方模型


第二步:放置模型檔案

依照官方說明建立目錄。

ComfyUI
│
├─ models
│  ├─ diffusion_models
│  │  ├─ ideogram4_fp8_scaled.safetensors
│  │  └─ ideogram4_unconditional_fp8_scaled.safetensors
│  │
│  ├─ text_encoders
│  │  └─ qwen3vl_8b_fp8_scaled.safetensors
│  │
│  └─ vae
│      └─ flux2-vae.safetensors

第三步:了解每個模型用途

ideogram4_fp8_scaled

主模型

負責:

  • 圖片生成
  • 構圖
  • 風格
  • 排版

ideogram4_unconditional_fp8_scaled

CFG 引導模型

負責:

  • 提升細節
  • 強化 Prompt Follow
  • 改善品質

官方建議兩個模型一起使用。若只載入主模型雖可運作,但畫質會下降。


qwen3vl_8b_fp8_scaled

文字編碼器

負責:

  • Prompt 理解
  • JSON 理解
  • 空間推理
  • 海報版面配置

flux2-vae

VAE 解碼器

負責將 Latent 轉換成圖片。


第四步:更新 ComfyUI

Ideogram 4 需要最新版本的 ComfyUI。

更新方式:

cd ComfyUI

git pull

或:

update_comfyui.bat

官方於 Day-0 即已原生支援 Ideogram 4。


第五步:載入官方 Workflow

ComfyUI 官方已提供範例工作流。

建議直接從:

Comfy Blog

下載 Workflow


基礎工作流架構

Prompt
    ↓

Qwen3-VL Encoder
    ↓

Ideogram 4
    ↓

Sampler
    ↓

Flux VAE Decode
    ↓

Save Image

第六步:第一張圖片

測試 Prompt:

A futuristic cyberpunk city at night,
neon signs in Chinese,
cinematic lighting,
ultra detailed,
high contrast,
8k photography

生成尺寸:

1024 x 1024

推理模式:

DEFAULT

第七步:體驗 JSON Prompt

Ideogram 4 最大特色就是:

Structured JSON Prompt

官方模型訓練時即使用 JSON Caption。


範例:海報設計

{
  "scene_summary": "Professional technology conference poster",

  "background": {
    "description": "Modern convention center stage with blue ambient lighting, large LED screen, clean professional environment"
  },

  "style": {
    "description": "Corporate marketing design, professional conference poster, clean typography, premium branding, modern layout"
  },

  "objects": [
    {
      "description": "Conference stage",
      "bbox": [100, 150, 900, 850],
      "colors": ["#0A2540", "#1E88E5", "#FFFFFF"]
    }
  ],

  "text_elements": [
    {
      "text": "AI SUMMIT 2026",
      "bbox": [150, 120, 850, 260],
      "style": "Large bold white sans-serif title"
    },
    {
      "text": "Future of Artificial Intelligence",
      "bbox": [180, 280, 820, 350],
      "style": "Medium white subtitle"
    },
    {
      "text": "Taipei International Conference Center",
      "bbox": [180, 1050, 820, 1120],
      "style": "Small white footer text"
    }
  ]
}

Bounding Box 控制

可直接指定位置。

{
  "text_elements":[
    {
      "text":"SALE 50%",
      "bbox":[100,100,500,300]
    }
  ]
}

座標範圍:

0 ~ 1000

原點:

左上角

這是目前 FLUX 與 Stable Diffusion 所不具備的能力。


色彩盤控制

品牌設計超級好用。

{
  "color_palette":[
    "#FF6600",
    "#FFFFFF",
    "#000000"
  ]
}

官方支援:

  • 最多16色
  • 單元素最多5色

與 FLUX 比較

FLUX 強項

  • 寫實攝影
  • 光影細節
  • 人像品質

Ideogram 4 強項

  • Logo
  • 海報
  • Banner
  • 電商素材
  • 排版設計
  • 中文文字生成

若你是:

  • 電商設計師
  • 行銷公司
  • 品牌設計
  • 廣告公司

Ideogram 4 很可能比 FLUX 更適合。


結論

Ideogram 4 不只是另一個 AI 繪圖模型。

它最大的創新在於:

把 Prompt 從自然語言升級為結構化設計規格。

透過:

  • Qwen3-VL
  • Diffusion Transformer
  • JSON Prompt
  • Bounding Box
  • Color Palette

使用者終於可以像操作 Figma 一樣控制 AI 生成內容。

對於需要:

  • 海報設計
  • 品牌素材
  • Banner 製作
  • AI Agent 自動產圖

的開發者來說,Ideogram 4 是目前最值得研究與部署的開源模型之一。

Liblib 是什麼?中國最領先的 AI 創作平台,整合 WebUI、ComfyUI 與 LoRA 訓練

Liblib 是什麼?中國最領先的 AI 創作平台,整合 WebUI、ComfyUI 與 LoRA 訓練

眾多 AI 創作平台之中,Liblib 憑藉其高度整合的功能、生態完整度以及對中文使用者的極致友善設計,迅速成為中國最領先的 AI 創作平台之一

一站式 AI 影像與視頻創作平台

Liblib 不僅僅是一個圖片生成網站,而是一個超級齊全的 AI 創作平台,涵蓋:

  • AI 圖片生成
  • AI 視頻特效與動畫
  • 模型管理與分享
  • 視覺化工作流(Workflow)
  • LoRA 訓練與應用

透過雲端化的設計,使用者無需自行架設環境,即可直接在瀏覽器中使用高階 AI 生成能力。


深度整合 WebUI 與 ComfyUI

對於熟悉 Stable Diffusion 生態的使用者而言,Liblib 最大的優勢之一,在於它同時支援:

  • WebUI:操作直覺、上手快速,適合大多數創作者
  • ComfyUI:節點式工作流,適合進階用戶進行複雜控制與自動化生成

這種雙軌並行的設計,讓初學者與專業用戶都能在同一平台中找到最適合自己的創作方式。


強大的 LoRA 訓練能力

Liblib 在 LoRA 訓練方面表現尤為突出,提供完整且視覺化的訓練流程:

  • 上傳資料集即可開始訓練
  • 支援多種風格與角色 LoRA
  • 訓練完成後可直接套用於生成
  • 社群分享與模型市集機制

這讓創作者能快速打造專屬風格模型,大幅降低 AI 模型訓練的門檻。


中文使用者極度友善

相較於許多國外 AI 平台對中文支援不足,Liblib 在以下方面明顯優於同類產品:

  • 完整繁體與簡體中文介面
  • 中文 Prompt 理解度高
  • 中文模型與 LoRA 資源豐富
  • 適合華語創作者的社群內容

對中文內容創作者來說,這是一個真正「為中文而生」的 AI 創作平台。


工作流與創作效率全面升級

Liblib 內建的 工作流系統(Workflow),讓使用者可以:

  • 將複雜生成流程模組化
  • 重複使用高品質生成邏輯
  • 快速套用他人分享的創作流程
  • 大幅提升商業與批量創作效率

這對於需要大量產出視覺內容的團隊與個人創作者而言,是極具價值的功能。


為什麼 Liblib 是中國最領先的 AI 創作平台?

綜合來看,Liblib 的核心優勢包括:

  • ✅ 視頻特效 + 圖片模型完整整合
  • ✅ WebUI 與 ComfyUI 同時支援
  • ✅ 強大且易用的 LoRA 訓練
  • ✅ 中文高度友善,資源豐富
  • ✅ 從新手到專業用戶皆適用

這不僅是一個工具,更是一個完整的 AI 創作生態系


官方網站

👉 Liblib 官方平台
https://www.liblib.art/

探索 Wan 2.1:阿里巴巴推出的高效 AI 影片生成模型,融入哪吒等東方元素

探索 Wan 2.1:阿里巴巴推出的高效 AI 影片生成模型,融入哪吒等東方元素

探索阿里巴巴開源的 AI 影片製作模型:Wan 2.1

阿里巴巴近期推出的開源影片生成模型——Wan 2.1,為創作者提供了一個強大且高效的工具。​該模型不僅完全開源,還具備極快的生成速度,並融入了豐富的東方元素,如哪吒等,為影片創作帶來了新的可能性。​

Wan 2.1 的主要特色

完全開源,兼容性強

Wan 2.1 採用 Apache 2.0 協議開源,這意味著開發者可以自由地使用、修改和分發該模型,甚至用於商業用途。​此外,Wan 2.1 支援 ComfyUI 等圖形介面,方便用戶進行可視化操作,降低了技術門檻。​

高效的影片生成速度

得益於先進的架構設計,Wan 2.1 在影片生成速度上表現優異。​即使在消費級 GPU 上,如 RTX 3070 顯卡,使用 1.3B 參數模型即可流暢運行,生成 480P 分辨率的影片,更何況現在已經來到了RTX 5090,​這將讓個人也能夠在本地設備上高效地進行影片創作。​

豐富的東方元素融入

Wan 2.1 在影片生成中融入了大量的東方元素,特別是中國傳統文化中的角色和場景。​例如,模型能夠生成包含哪吒等經典角色的影片,這為喜愛東方文化的創作者提供了更多的創作靈感和素材。​

如何離線使用 Wan 2.1 進行影片創作

  1. 環境準備:​首先,確保您的電腦具備足夠的硬體資源,建議使用至少 12GB 顯存的顯卡。​
  2. 下載模型:​從官方 GitHub 倉庫或 HuggingFace 平台下載 Wan 2.1 的模型檔案。​
  3. 安裝依賴:​根據官方指引,安裝所需的 Python 套件和其他依賴項。​
  4. 運行 ComfyUI:​啟動 ComfyUI,載入 Wan 2.1 模型,並按照介面提示輸入文本或上傳圖片,以生成對應的影片內容。
  5. ​下載 ComfyUI 工作流 : JSON

參考資料

https://www.freedidi.com/18705.html

Hallo AI:讓照片動起來,結合語音技術的革命性數字人類

Hallo AI:讓照片動起來,結合語音技術的革命性數字人類


Fusion Lab 又有新款力作,Hallo AI 可以讓用戶僅需提供一張照片和一段語音,就能讓照片中的人物進行說話、唱歌甚至進行動作,為數字內容創作帶來了革命性的突破。

hallo framework

主要功能介紹:

  • 語音動畫同步:用戶只需上傳一張照片及一段WAV格式的英語語音,Hallo AI就能使照片中的人物按語音內容進行動作,包括說話和唱歌。
  • 動作自然流暢:結合精確的面部識別和動作捕捉技術,保證人物動作的自然流暢,令人印象深刻。

技術框架:

  • 音頻處理:使用Kim_Vocal_2 MDX-Net的vocal removal模型分離語音。
  • 面部分析:透過insightface進行2D和3D的臉部分析。
  • 面部標記:利用mediapipe的面部檢測和mesh模型進行精確標記。
  • 動作模組:AnimateDiff的動作模組為動作生成提供支持。
  • 影像生成:StableDiffusion V1.5和sd-vae-ft-mse模型協同工作,用於生成和調整圖像細節。
  • 聲音向量化:Facebook的wav2vec模型將WAV音頻轉換為向量數據。

安裝方法

盡量採用 Linux 平台,我這邊測試成功的有 Ubuntu 20 WSL 版本,就可以簡單三個步驟,部過前提要記得先安裝好 WSL CUDA 支援

1.建立虛擬環境

  conda create -n hallo python=3.10
  conda activate hallo

2.安裝相關的依賴

  pip install -r requirements.txt
  pip install .

3.要有 ffmpeg 支援

  apt-get install ffmpeg

4.測試與驗證

python scripts/inference.py --source_image examples/reference_images/1.jpg --driving_audio examples/driving_audios/1.wav

最近更新:

  • 在🤗Huggingface空間克隆了一個Gradio演示。
  • 新增Windows版本、ComfyUI界面、WebUI和Docker模板。

參考資料

Hallo GitHub

Hallo Model

大神開發的Windows介面

Hallo 線上版本

Hallo Docker版

影片跳舞合成