Select Page
LTX 2.3 本地部署教學:8GB 顯卡用 ComfyUI 生成同步影音

LTX 2.3 本地部署教學:8GB 顯卡用 ComfyUI 生成同步影音

LTX 2.3 把畫面、聲音、人物動作與鏡頭運動放進同一套生成流程,還能透過 ComfyUI 在本機執行,對只有 8GB 顯存的使用者來說,社群 GGUF 量化工作流確實打開了一扇門,但「能跑」不等於完整模型全放進顯存,也不代表每台電腦都能在不到一分鐘內完成。

我會把 LTX 2.3 定位成一個適合實驗同步影音、角色短片與圖生影片的本地模型,它可以成為 OpenMontage 本地 AI 影片工作流裡的生成引擎,也可以獨立放在 ComfyUI 裡反覆調整。真正要先弄清楚的,是權重版本、顯存、系統記憶體與工作流之間的關係。

LTX 2.3 改進了什麼

LTX 2.3 官方頁面把這次更新整理成幾個核心方向。新的 VAE 改善髮絲、材質與邊緣細節,較大的文字連接器能理解多主體、空間關係、動作與鏡頭指令,圖生影片減少了畫面凍結與只做平移縮放的情況,音訊也換上新的 vocoder,降低雜音、靜音缺口與突然中斷。

  • 支援文生影片與圖生影片
  • 能在同一個流程生成畫面與同步音訊
  • 改善人物微表情、動作與鏡頭運動
  • 原生支援最高 1080×1920 的直式影片
  • 提供完整權重、Distilled、FP8 與社群量化方案

官方也提醒,LTX 2.3 採用新的 latent space,舊版 LoRA 不能直接當成完全相容的資產,通常需要重新訓練。這點比單純更新模型檔更重要,已經累積大量 LTX 2 工作流的人要先做相容性測試。

8GB 顯卡能跑,但要先拆掉一句話裡的誤會

官方 ComfyUI 文件把標準本地工作流的前置條件列為 32GB 以上顯存與 100GB 以上可用磁碟空間。8GB 顯卡路線使用的是社群 GGUF 量化權重、模型卸載與系統記憶體,不是把 BF16 完整權重硬塞進 8GB 顯存。

版本適合用途主要取捨
BF16 Dev品質驗證與正式輸出硬體需求最高
Distilled快速迭代與工作流測試速度優先
FP8較低顯存的官方量化路線品質與資源需求折衷
GGUF Q4 或 Q58GB 到 16GB 顯存的社群工作流依賴 CPU offload、系統記憶體與相容節點

QuantStack 的 LTX 2.3 GGUF為例,Q5_K_S 檔案約 18.5GB,已經大於 8GB 顯存。能在 8GB 顯卡執行的關鍵,是工作流不要求所有資料同時留在 GPU。代價是更吃系統記憶體與資料搬移時間。想進一步理解 GGUF 與量化的角色,也可以對照站內的本地模型推理框架比較

LTX 2.3 常見 GGUF 量化檔案大小比較圖
GGUF 檔案大小不等於最低顯存需求,但能直接看出為什麼 8GB 路線必須依賴卸載與系統記憶體

我的硬體建議很簡單。,GB 顯存可以從 Q4 或經驗證的低顯存工作流開始,系統記憶體最好準備 32GB 以上,12GB 到 16GB 顯存會比較有調整空間。若要使用 BF16、較高解析度、長片段或多階段放大,32GB 以上顯存才接近官方設定,實際速度還會受 GPU 架構、RAM、磁碟、解析度、影格數與節點版本影響。

最省事的安裝方法是官方模板

第一次安裝不要急著手動搬十幾個檔案,先把 ComfyUI 更新到支援 LTX 2.3 的版本,再用模板庫建立一條能正常執行的基準工作流,這和我整理 Ideogram 4 的 ComfyUI 本機部署時採用的思路一樣,先跑通官方基線,再加入量化與自訂節點。

  1. 開啟 ComfyUI Desktop 或現有 ComfyUI
  2. 完成程式與前端更新後重新啟動
  3. 進入 Templates 並切換到 Video
  4. 搜尋 LTX-2.3
  5. 先安裝 Image to Video 與 Text to Video 模板
  6. 按下 Download all 取得必要模型
  7. 重新啟動後先用低解析度與少量影格測試

官方建議先用 480×720 與 41 到 81 個影格確認流程,工作流穩定後,再提高解析度、片長與品質。這一步看起來保守,卻能很快分辨問題來自模型、節點、顯存,還是提示詞。

手動安裝時,模型應該放在哪裡

ComfyUI Desktop、Portable 與自行安裝版的根目錄可能不同,最穩的方法是從 ComfyUI 介面打開模型資料夾,再依下面的相對路徑放置。不要直接照抄別人的 Windows 使用者名稱。

檔案類型建議路徑用途
官方主模型models/checkpoints/LTX-VideoBF16、Distilled 或官方檢查點
社群 GGUFmodels/unet交給 GGUF Loader 載入
文字編碼器models/text_encodersGemma 3 與 LTX 文字投影
視訊與音訊 VAEmodels/vae解碼影像、聲音與預覽
LTX 2.3 LoRAmodels/loras/LTX-2.3Distilled、風格或控制能力

原始權重可從 LTX 2.3 Hugging Face取得。官方推理程式與訓練工具位於 Lightricks LTX-2 GitHub,ComfyUI 節點與範例工作流則在 ComfyUI-LTXVideo

匯入工作流後出現紅色節點怎麼辦

紅色節點通常不是模型壞掉,而是工作流引用了本機尚未安裝的自訂節點。先在錯誤視窗選擇 Install Missing Custom Nodes,完成後按 Apply Changes 並重新啟動,若仍缺少 Fast Groups Bypasser 類節點,可在 Manager 搜尋並安裝 rgthree-comfy

GGUF 權重還需要 ComfyUI-GGUF。安裝後重新啟動,在畫布空白處搜尋 GGUF Loader,把原本模型載入器的輸出改接到工作流的 model 輸入,再重新整理節點並選擇 Q4 或 Q5 檔案。

一個可以直接改寫的繁中提示詞

LTX 2.3 的提示詞不要只寫「讓照片動起來」。把人物動作、對白、聲音、鏡頭、畫質與禁止項目分開,模型比較容易理解時間順序與同步關係。

場景與動作
一名年輕女子站在安靜的室內,先看向鏡頭,再輕輕吸一口氣,以略帶緊張但自然的神情說話。嘴唇清楚說出指定的中文台詞,嘴型與發音準確同步。

聲音
自然的年輕華語女聲,語氣柔和、真實、略帶緊張,像日常交談,不要誇張。保留輕微呼吸聲與安靜室內環境音,不要配樂。

鏡頭
鏡頭緩慢推近臉部,只有很輕微的手持感。淺景深,焦點穩定,自然室內光線。

畫面品質
寫實電影感,皮膚紋理自然,眼神與微表情細膩,髮絲運動合理,動作流暢,人物身份保持一致。

避免項目
不要字幕,不要畫面文字,不要額外人物,不要旁白,不要機械聲,不要誇張表情,不要臉部變形,不要嘴唇變形,不要突然移動鏡頭。

實際使用時,把第一段換成你的角色、場景、動作與台詞即可。先固定一個鏡頭與一個主要動作,再逐步增加人物、轉場與複雜聲場。一次要求太多事件,往往比模型能力不足更容易造成身份漂移。

中文對白可用,但字幕最好留給後製

實測裡最值得記下來的缺點,是中文畫面文字仍可能出現亂碼,即使官方表示文字渲染已改善,這不代表長句中文字幕已經可靠,若提示詞要求中文對白,模型有時還會自行生成錯誤字幕。

  • 提示詞明確加入「不要字幕、不要畫面文字」
  • 先生成乾淨畫面與聲音
  • 輸出後再用剪輯軟體或字幕工具加入繁中字幕
  • 若聲音品質不穩,可把畫面生成與語音生成拆成兩條工作流

需要更細的角色音色控制時,可以搭配Qwen3-TTS 音色設計工作流,讓 LTX 2.3 專注畫面,再由語音模型與後製負責台詞品質,這通常比強迫單一模型同時把中文聲音與中文字都做到完美更務實。

本地還是雲端,差別不只在費用

本地工作流的優點是素材不必上傳第三方、模型與節點可自行調整,而且安裝完成後沒有逐秒 API 費用,缺點是模型檔很大,節點版本容易衝突,還要自己處理顯存與輸出速度。若你比較在意快速試模板與交付,也可以對照RunningHub 的雲端 ComfyUI 工作流,再決定控制權與便利性哪個重要。

解除限制版本不是品質保證

社群常用「無審查」或「解除限制」描述修改版權重。這只代表輸入限制可能不同,不代表畫質、授權、安全性或商用條件比官方版本更好。下載前要確認模型來源、授權條款與檔案雜湊,人物照片與聲音也必須取得同意。

尤其是換臉、移除人物、替換台詞與生成擬真人物時,更要避免冒用身份、未經同意的私密內容與誤導性成品。LTX 官方也有商業授權條件,企業使用前應直接閱讀最新授權,而不是只看模型能不能下載。

下載與參考資源

我的結論

如果目標是直式角色短片、圖生影片、帶環境音的短場景,LTX 2.3 很值得測,若目標是穩定中文字、長篇敘事或大量商業輸出,仍要把字幕、語音、剪輯與品質檢查拆成獨立步驟。模型負責生成,工作流負責把結果變成可以交付的作品。

FAQ

LTX 2.3 真的能在 8GB 顯卡執行嗎

可以,但通常要使用 GGUF 量化權重、CPU offload 與足夠的系統記憶體。8GB 指的是可嘗試的顯存門檻,不代表完整模型全放在 GPU,也不保證固定生成速度。

新手應該選 BF16、FP8 還是 GGUF

先用官方 Distilled 或 FP8 模板確認工作流。顯存不足再改用 GGUF。BF16 適合硬體充足並且重視品質的人,GGUF 適合願意接受卸載、速度與相容性取捨的低顯存使用者。

為什麼匯入工作流後有紅色節點

多半是缺少自訂節點或節點版本太舊。先執行 Install Missing Custom Nodes,再更新 ComfyUI、ComfyUI-LTXVideo、rgthree-comfy 與 ComfyUI-GGUF,完成後重新啟動。

中文對白為什麼會出現亂碼字幕

模型可能把對白理解成需要同步生成的畫面文字,而中文長句仍不穩定。提示詞加入不要字幕與不要畫面文字,先生成乾淨影音,再於後製加入繁中字幕最可靠。

LTX 2.3 可以離線使用嗎

模型、節點與依賴下載完成後可以在本機執行。首次安裝、更新模型或補齊節點仍需要網路,並且要預留足夠磁碟空間。

MiniMax H3 本地部署:ComfyUI、8GB 顯存與 Heretic 模型解析

MiniMax H3 本地部署:ComfyUI、8GB 顯存與 Heretic 模型解析

MiniMax H3 把文字、圖片、影片和音訊放進同一套生成系統,可以一次產生含有人聲、環境音與音樂的影片,它不只支援文生影片和圖生影片,也能指定首尾幀,或用多張圖片、參考影片與聲音控制角色、運鏡和音色。對本地 AI 影片工作流來說,這比單純追求畫質更重要。

先講結論。MiniMax H3 已經提供可下載權重,也有 ComfyUI 原生模板,但它不是一個只需要 8GB 的小模型。官方精簡量化工作流的主要檔案合計約 39.55GiB。8GB 顯存要依靠模型卸載、系統記憶體和虛擬記憶體,生成速度與穩定度都會受到影響。

MiniMax H3 是什麼

MiniMax H3 是通用型全模態生成系統。它可以理解由文字、圖片、影片和音訊組成的上下文,再共同預測影片與立體聲音訊,官方規格支援 4 到 15 秒、24 FPS、最高 2K 的輸出,並能處理中文、英文、日文、韓文等 11 種較穩定的對話語言。

項目官方規格實際意義
輸入文字、圖片、影片、音訊可混合角色、場景、動作、運鏡與聲音參考
輸出長度4 到 15 秒適合廣告鏡頭、短片段與分鏡
幀率24 FPS以電影常用幀率直接產生
本地基礎解析度短邊 768px16 比 9 約為 1344 乘 768
2K透過 H3-Regenerate-2K目前需要官方服務,完整模組尚未釋出
音訊32kHz 立體聲人聲、音效與音樂和畫面共同生成

Reference-to-Video 模式最多可接 9 張圖片、3 段參考影片與 3 段音訊。每段影片或音訊需要介於 2 到 15 秒,所有參考影片的總長度不超過 15 秒,混合輸入最多 12 個檔案。音訊不能單獨作為唯一參考,必須搭配圖片或影片。

Open weights 不等於完整開源

MiniMax H3 比較準確的稱呼是「開放權重」,完整系統由 H3-Context-IR、H3-Base 和 H3-Regenerate-2K 組成,目前可在本地執行的是 H3-Base。負責理解複雜多模態素材的 H3-Context-IR,以及把 768p 重新生成為 2K 的 H3-Regenerate-2K 都尚未釋出,只能透過官方 API 使用。

官方也說明,初始版本只提供 full attention 推理,用來降低長序列運算量的 sparse attention 會在後續更新,因此,本地工作流和官方線上 2K 成果不一定完全相同,提示詞越簡略,缺少 Context-IR 的差異越明顯。

H3 的架構為什麼這麼大

H3-Omni-Transformer 是 33B dense 單流 Transformer,其中約 13B 參數位於 AdaLN 相關分支,推理時可以預先計算並快取這些 AdaLN 調制結果,所以 ComfyUI 提供 pruned 版本,把不需要每次載入的權重移除,這就是 pruned INT8 主模型能從完整 BF16 的 61.73GiB 降到約 19.53GiB 的原因。

文字和多模態條件則由 Qwen3-VL 32B 編碼器處理。最後還要載入影片 VAE 與音訊 VAE。因此,H3 不是只下載一個 safetensors 就能運作,而是一組彼此配合的模型元件。

MiniMax H3 ComfyUI 精簡量化工作流主要模型檔案大小比較圖
官方精簡量化工作流的四個主要檔案合計約 39.55GiB。檔案可以在運作時分批卸載,但磁碟與系統記憶體仍要保留足夠空間。
元件建議量化檔大小放置目錄
H3 FL2VA 主模型pruned INT8 ConvRot19.53GiBmodels/diffusion_models
Qwen3-VL 編碼器NVFP4 AWQ14.61GiBmodels/text_encoders
影片 VAEFP164.85GiBmodels/vae
音訊 VAEFP320.56GiBmodels/vae

如果要使用多參考素材的 R2V 模式,主模型要改成 ref2va 版本,FL2VA 適合文生影片、圖生影片與首尾幀,Ref2VA 才是用角色、動作、運鏡和聲音參考生成新片段的版本,兩套主模型不能混用。

Arena 成績怎麼看

2026 年 8 月初的 Arena 快照中,MiniMax H3 在圖生影片約為 1476 分,在文生影片約為 1455 分,圖生影片和 Seedance 2.0 的差距只有約 2 分,文生影片也進入前段班,由於 Arena 會持續加入新模型與新投票,排名與分數會變動,這組數字只能當作發表初期的參考。

實際價值不只在單張畫面。武俠對話、角色特寫、太空飛行、動態 MV 與商品廣告等案例,最明顯的提升是鏡頭、口型、音效和場景能放在同一條時間軸裡。這和先產生無聲畫面,再交給另一個模型補音效的流程不同。想比較其他本地影片工具,可以延伸閱讀 OpenMontage 本地 AI 影片工作流

用 ComfyUI Desktop 安裝 MiniMax H3

最簡單的方法是安裝最新版 ComfyUI Desktop。官方要求 ComfyUI 0.30.0 或更新版本,啟動後進入 Template Library,選擇 Video,再搜尋 MiniMax H3。可以先從 T2V 或 I2V 模板開始,缺少的官方模型會顯示下載提示。

  1. 更新 ComfyUI 到 0.30.0 或更新版本
  2. 開啟 Template Library
  3. 進入 Video 類別並選擇 MiniMax H3 T2V、I2V 或 R2V
  4. 依模板提示下載模型
  5. 先將 duration 設為 4 到 6 秒
  6. 將 megapixels 設為 0.2 到 0.4 進行預覽
  7. 確認人物、動作和聲音正確後,再提高解析度與長度

完整檔案結構如下。實際安裝根目錄會因 Windows、macOS、Linux 和 Desktop 版本而不同,建議從 ComfyUI 選單開啟模型目錄,不要直接照抄別人的 AppData 絕對路徑。

ComfyUI/
├── models/
│   ├── diffusion_models/
│   │   └── minimax_h3_fl2va_pruned_int8_convrot.safetensors
│   ├── text_encoders/
│   │   └── qwen3vl_32b_minimax_h3_nvfp4_awq.safetensors
│   └── vae/
│       ├── minimax_h3_video_vae_fp16.safetensors
│       └── minimax_h3_audio_vae_fp32.safetensors
└── custom_nodes/

如果你已經在使用 ComfyUI,可以參考 Krea2 的 ComfyUI 多圖工作流理解模型目錄與節點連線,想把工作流放到雲端管理,也可以看 RunningHub 與 ComfyUI 工作流平台

8GB 顯存真的能跑嗎

有機會啟動,不代表適合長時間使用,8GB 顯存需要把大量權重卸載到系統記憶體,Windows 可能還會進一步使用虛擬記憶體。這會讓 GPU 在運算與資料搬移之間等待,也會增加 SSD 讀寫。解析度、影片長度、參考素材數量和 VAE 解碼都可能造成記憶體尖峰。

  • 8GB 顯存:從 0.2MP、4 秒和單一參考圖開始,準備充足系統記憶體與 NVMe 空間
  • 12GB 顯存:較適合 480p 附近的短片預覽,仍需模型卸載
  • 16GB 顯存:可以嘗試 0.2MP 到 0.4MP,再用影片放大工具處理
  • 24GB 以上:工作流更實用,但完整 768p 與多參考素材仍要監看記憶體

比較務實的做法是先用 864 乘 480 或更低解析度確認運鏡和角色一致性,再進行高解析重繪或 2K 放大,Sage Attention 也能改善速度,ComfyUI 官方文件表示,在相容硬體與正確 CUDA 環境下,速度可能接近兩倍,但部分層仍會回退到標準 attention。

Qwen3-VL Ultra Heretic H3 不是影片主模型

使用者提供的 Qwen3-VL-32B Ultra Heretic H3 ComfyUI 是 H3 的條件編碼器與提示詞 generation tail,不是 MiniMax H3 的影片生成主模型。它建立在經過 Heretic 修改的 Qwen3-VL 32B 上,主要作用是減少拒答,並在 ComfyUI 裡產生或強化 H3 提示詞。

檔案用途大小
Heretic BF16 encoderQwen3-VL 第 0 到 49 層與完整 vision tower47.97GiB
Heretic INT8 ConvRot encoder較省記憶體的條件編碼器24.55GiB
INT8 generation tail第 50 到 63 層、final norm 與 LM head7.09GiB

只想使用官方 H3,不需要下載這套 Heretic 檔案。要使用提示詞增強器,通常下載 INT8 encoder 與相符的 generation tail,兩個檔案都放到下面的目錄。

ComfyUI/models/text_encoders/H3/

如果還想把這組 encoder 與 tail 當成獨立的本地 Qwen3-VL 文字或視覺模型,需要額外安裝 TextGen 節點。

cd ComfyUI/custom_nodes
git clone https://github.com/ethanfel/ComfyUI-H3-Qwen3VL-TextGen.git
cd ComfyUI-H3-Qwen3VL-TextGen
pip install -r requirements.txt

重新啟動 ComfyUI 後,使用 H3 Qwen VL Generation Tail Loader 和 H3 Qwen VL Generate Text 節點。如果出現 Missing Node Packs,先確認 ComfyUI 已更新,再確認自訂節點資料夾沒有多包一層 ZIP 目錄,最後使用 ComfyUI 自己的 Python 環境安裝 requirements。

Heretic 與解除限制模型的風險

Heretic 類模型會修改拒答行為,但不保證完全移除安全限制,也不保證品質不受影響,模型卡的測試是在 RTX 5090 32GB、特定 ComfyUI commit、PyTorch 2.8 與 CUDA 12.8 環境完成。不同顯示卡與套件版本可能出現完全不同的結果。

把拒答變少不代表產出的內容合法。人物肖像、聲音複製、品牌素材、成人內容和受版權保護的角色都有額外風險。建立公開或商業服務時,應保留內容審查、權限控制與人工確認,不要把解除限制當成跳過責任的工具。

MiniMax H3 提示詞怎麼寫

H3 的提示詞不是堆疊形容詞,而是建立一條可播放的時間軸,先交代整體風格與初始構圖,再依時間描述鏡頭、動作、對話、環境音與配樂,官方建議至少保留三個欄位。

integrated_multimodal_description:
[Shot 1] 真人電影風格,中景。雨夜的老街上,一名穿深色風衣的女子站在霓虹招牌下。攝影機以緩慢的小幅度向前推進。她抬頭看向街口,雨水沿著臉頰滑下。
[Shot 2] At 00:04.000, the camera cuts to a close-up。女子壓低聲音說:<d>[Chinese] 他終於來了。</d> 遠方車燈穿過雨霧,她握緊手中的信封。

overall_soundscape:
持續的雨聲、遠方車流、鞋底踩過積水的聲音。對話清楚,口型與發聲時間同步。

non_diegetic_music:
低沉的大提琴與稀疏鋼琴,緩慢節奏,在第二個鏡頭逐漸提高張力。

第一個鏡頭不需要時間標記。

第二個鏡頭開始使用明確時間,例如 00:04.000。

運鏡最好同時寫出類型、幅度與速度,例如 slow small-amplitude push in。

對話放在 d 標籤裡,並保留語言標記。

環境中真正存在的聲音放在 overall_soundscape,只有觀眾能聽見的配樂放在 non_diegetic_music。

圖生影片要先固定首幀中的人物、服裝、構圖、色彩和空間關係,再描述後續動作。首尾幀模式則要把中間變化寫清楚,不要只寫「從第一張變成第二張」。多參考模式要為每個素材分工,例如 Picture 1 負責人物外觀,Video 1 負責運鏡,Audio 1 負責音色。這類結構化提示詞也可以搭配 Codex 動態圖表與短影片工作流自動產生。

授權限制一定要先看

MiniMax H3 主模型不是 Apache 2.0,而是 MiniMax H3 Community License,授權適用範圍排除歐盟、英國、韓國與美國,在這些地區部署需要另外聯絡 MiniMax 取得授權,商業產品年營收超過 2,000 萬美元,也需要事先取得書面授權。

商業產品介面還必須清楚顯示 MiniMax H3。授權也禁止用 H3 或其輸出改善其他非 H3 衍生模型。正式上線前應閱讀最新授權全文並取得法律意見,Qwen3-VL encoder 採 Apache 2.0,不代表整套 H3 工作流會自動變成 Apache 2.0。

我的判斷

MiniMax H3 的真正突破不是某一張畫面更漂亮,而是把角色、場景、鏡頭、對話、音效和音樂放進同一個生成過程,這讓本地 AI 影片從「抽一次卡看看」往可規劃的內容製作靠近。

它仍然是一套非常吃資源的系統。8GB 顯存只是能否啟動的最低挑戰,不是舒適規格,想先體驗的人,應從官方 ComfyUI 模板、4 秒、0.2MP 和單一參考圖開始。確認工作流有價值後,再投資記憶體、儲存空間與高解析度後製,Heretic 版本則只適合明白模型用途、授權與安全風險的人使用。

參考資料

FAQ

MiniMax H3 可以用 8GB 顯存執行嗎?

可以嘗試量化模型與 CPU offload,但要準備足夠的系統記憶體、虛擬記憶體和 NVMe 空間。建議從 0.2MP、4 秒短片開始,8GB 並不是官方保證的舒適規格。

MiniMax H3 本地可以直接產生 2K 嗎?

目前完整的 H3-Regenerate-2K 尚未開放。本地 H3-Base 主要輸出短邊 768px,官方 2K 品質仍需要搭配 API,或使用第三方放大與重繪工具。

Qwen3-VL Ultra Heretic H3 是 MiniMax H3 主模型嗎?

不是。它是 H3 使用的 Qwen3-VL 條件編碼器與 generation tail,負責提示詞理解和生成。真正產生影片的是 FL2VA 或 Ref2VA diffusion model。

MiniMax H3 可以商用嗎?

可以在授權適用地區依社群授權使用,但歐盟、英國、韓國與美國被排除。年營收超過 2,000 萬美元的商業產品需要事先取得書面授權,產品介面也要顯示 MiniMax H3。

ComfyUI 顯示 Missing Node Packs 怎麼辦?

先更新 ComfyUI,再確認自訂節點放在 custom_nodes 的第一層,並用 ComfyUI 自己的 Python 安裝 requirements。重新啟動後仍缺節點,再依節點名稱安裝對應的 node pack。

LongCat 1.5 是什麼?美團開源數字人模型與 RunningHub 工作流整理

LongCat 1.5 是什麼?美團開源數字人模型與 RunningHub 工作流整理

LongCat 1.5 最值得注意的地方是它把音訊驅動、人物一致性、長影片穩定性和 ComfyUI 工作流串在一起,讓數字人從單段 Demo 更接近可重複生產的內容流程。

美團開源的 LongCat-Video-Avatar 1.5 建立在 LongCat-Video 基礎模型之上,官方定位是 audio-driven human video generation,也就是用音訊、文字、圖片或既有影片去驅動人物生成。對內容創作者來說,關鍵不只是嘴型同步,而是能不能穩定做出比較長的數字人片段。

LongCat 1.5 解決的是什麼問題

過去很多數字人工具看起來很驚艷,但實際用在長片段時會遇到幾個老問題:嘴型不穩、人物身份漂移、動作重複、背景抖動、分段接不上,LongCat 1.5 的官方 model card 強調幾個方向:用 Whisper-Large 取代 Wav2Vec2 作為音訊編碼器,改善嘴型與語音動態,並強化長影片生成時的身份一致性和時間穩定性。

它支援的任務也不只一種,AT2V 是 Audio-Text-to-Video,適合用音訊和文字描述生成片段,ATI2V 是 Audio-Text-Image-to-Video,可以用參考圖片維持角色形象,Video Continuation 則比較接近延續既有影片,讓後續動作和語音繼續往下生成。

為什麼 RunningHub 工作流有用

LongCat 1.5 本身是模型,真正要變成創作者可用的工具,還需要工作流。這也是 RunningHub 和 ComfyUI 的價值所在。RunningHub 可以把複雜節點封裝成比較容易執行的流程,讓使用者不一定要在本機把所有依賴、模型、節點和顯卡環境都裝好。

如果你還不熟 RunningHub,可以先看我之前整理的 RunningHub 是什麼?把 ComfyUI 工作流變成 AI 內容生產平台,這次 LongCat 1.5 的重點就是把「單段生成」改成「循環工作流」,讓多段音訊和多段片段可以自動往下跑,不必每 4 秒就手動複製節點、改連線、重新拼接。

循環工作流的核心概念

實作數字人長片段時,最麻煩的往往不是單次生成,而是分段,假設每段產生 4 秒,20 秒就需要 5 段,30 秒就需要更多段。如果每一段都手動複製節點和連線,工作流會變得又長又難維護。

比較合理的做法是讓工作流自動按時間切段,再把每段送進 LongCat 1.5 生成。這裡有幾個重要參數:

  • 音訊起始時間:決定從第幾秒開始讀音訊。
  • 生成時長:決定每段處理幾秒,實務上可以略大一點,避免音訊尾端被切掉。
  • 幀率:要和模型採樣規則配合。
  • 尺寸:工作流裡常見長邊 1024,也可以提高,但成本會上升。
  • 參考圖和 prompt:決定人物外觀、場景、動作與一致性。

其中「4n+1」這個規則很重要。如果秒數乘上幀率後不是符合模型要求的幀數,採樣器可能直接報錯,好的工作流會用數學節點自動修正幀數,避免使用者每次手算。

設備需求怎麼看

很多人第一個問題會是:本機能不能跑?答案要拆開看,官方安裝方式需要 Python 3.10、CUDA 版 PyTorch、FlashAttention、ffmpeg、librosa 和模型權重。這代表如果要本地完整跑起來,最好有 NVIDIA GPU 和足夠顯存,不然體驗會很痛苦。

RunningHub 的思路則是把算力放到雲端,說明欄提到可以在 RTX 4090 上運行,這對一般創作者比較友好,因為你不用先處理 CUDA、依賴衝突和顯存不足。缺點是需要依平台計費,還要注意素材隱私和商用內容的授權風險。

如果你對本地 AI 影片工作流有興趣,可以對照 OpenMontage 本地部署實測。如果你的重點是語音和角色互動,也可以延伸看 Hugging Face speech-to-speech 本地即時語音 Agent,思路都會回到同一件事:模型、音訊、工作流和算力要一起設計。

提示詞要寫得比想像中更細

LongCat 1.5 官方也提醒,長而具體的 prompt 通常比短句更穩。不要只寫「一位女生在說話」。更好的寫法是把人物外觀、動作、服裝、表情、場景都寫清楚,例如:一位長黑髮女性,穿白色襯衫,坐在明亮咖啡館裡,微笑並自然說話。

如果要做商用級數字人,我會把 prompt 拆成四層:

  1. 角色:年齡、髮型、服裝、表情、姿態。
  2. 場景:室內或戶外、光線、背景、鏡頭距離。
  3. 動作:說話、微笑、點頭、手勢、是否走路。
  4. 限制:不要誇張表情、不要手部變形、不要背景閃爍、不要換臉。

如果你還需要語音來源,可以搭配 Qwen3-TTS 這類音色設計工具,先把聲音品質穩住,再進入數字人生成。音訊不好,嘴型同步再強也很難救。

LongCat 1.5 適合誰

使用者適合程度原因
短影音創作者可以把固定角色、音訊和場景變成批量內容。
電商和品牌團隊可做商品介紹、導購、活動宣傳和多語版本。
本機 AI 玩家模型開源,但完整環境和顯卡需求不低。
只想快速試效果的人用 RunningHub 工作流比本地安裝更快。
企業敏感資料場景要評估素材隱私、雲端上傳和合規問題。

如果只是做一張照片講話,過去已經有很多工具可以完成,例如我之前整理過的 Hallo AI 數字人,LongCat 1.5 更值得看的地方,是它開始處理更長、更穩、更可工作流化的數字人生成。

注意事項

第一,雲端工作流很方便,但素材上傳前要確認隱私。客戶聲音、真人肖像、商業腳本,都不應該隨便丟到不熟的平台裡。

第二,數字人看起來自然,不代表可直接商用。要確認聲音、人物肖像、參考圖、背景素材和平台條款,尤其是用真人形象時更要小心。

第三,循環工作流能提高效率,但也會放大錯誤。如果第一段人物已經歪掉,後面自動跑再多段也只是把錯誤放大。比較穩的做法是先做 4 到 8 秒測試,確認嘴型、動作和人物一致性,再放大到長片段。

最後

LongCat 1.5 代表數字人工作流正在從單點工具走向內容生產線。模型本身強調嘴型、長影片穩定和身份一致性,RunningHub 工作流則把操作門檻往下壓。對創作者來說,現在最重要的能力不是只會按生成,而是懂得設計音訊、角色、分段、幀率和工作流。

如果你想快速驗證,先用 RunningHub 工作流跑一段短音訊。如果要做可控的長片或商用內容,再回頭研究 ComfyUI 節點、官方 Hugging Face 權重和本地部署成本。這樣比較不會一開始就被環境和顯卡需求卡住。

FAQ

LongCat 1.5 是什麼?

LongCat 1.5 是美團開源的音訊驅動數字人模型,支援用音訊、文字、圖片或既有影片生成數字人片段。

LongCat 1.5 可以本地部署嗎?

可以,但官方安裝需要 CUDA 版 PyTorch、FlashAttention、ffmpeg、librosa 和模型權重,建議有 NVIDIA GPU 再嘗試。

為什麼幀率要注意 4n+1?

部分採樣流程要求輸入幀數符合特定規則,如果秒數乘幀率後不符合,採樣器可能報錯。工作流通常會用數學節點自動修正。

Krea2 圖像編輯怎麼玩?ComfyUI 多圖參考與 4K 工作流整理

Krea2 圖像編輯怎麼玩?ComfyUI 多圖參考與 4K 工作流整理

Krea2 開始變得有趣,不只是因為它能做漂亮的圖,而是因為它正在被接進 ComfyUI 的節點工作流。當圖像編輯、多圖參考、LoRA、KSampler 和 4K 出圖放在同一張節點圖裡,Krea2 就不只是單次生成工具,而是可以被拆解、調參、複用的內容生產流程。

我會把這次重點整理成三件事。

第一,Krea2 edit LoRA 的 ComfyUI 節點怎麼理解。

第二,私模與社群模型要怎麼分開看。

第三,4K 工作流不是單純放大,而是先控制訓練尺寸,再用 latent 放大與第二次採樣補細節。

Krea2 圖像編輯的真正重點

Krea2 圖像編輯最吸引人的地方,是它把「參考圖」和「提示詞」放到同一個生成條件裡,這比單純丟一張圖做 img2img 更細,因為參考圖可以被視覺編碼器理解,再和 prompt 一起影響模型輸出。

ComfyUI-Krea2-Ostris-Edit 這個節點包就是關鍵之一,它的 README 說明,這套節點是為了執行用 AI Toolkit 訓練的 Krea 2 edit LoRA,安裝方式是放到 ComfyUI 的 `custom_nodes` 目錄,重新啟動後節點會出現在 `ostris/krea2` 類別。

它不是模型本體,而是讓 ComfyUI 能正確吃進 Krea2 edit LoRA 的橋,這點很重要,因為很多人看到節點就以為模型已經包含在裡面,實際上模型、LoRA、節點和工作流是四個不同層次。

多圖參考不是把圖片塞進去就好

Krea2 Ostris Edit 的文字編碼節點可以接受 prompt,也可以接受 `image1` 到 `image3` 這類參考圖。GitHub 說明裡提到,參考圖會透過 Krea2 的 Qwen3-VL text encoder 編碼,並用 Krea 的 conditioning template 加入 `Picture N:` 這類視覺 placeholder。

換句話說,多圖參考的重點不是「圖片有沒有接上節點」,而是參考圖有沒有被正確轉成 conditioning。若接了 VAE,參考圖也會被 VAE 編碼成 reference latents,再交給 model patch 節點使用。這也是為什麼工作流裡會看到 Text Encode、Model Patch、VAE、KSampler 連在一起。

  • Text Encode Krea 2 Ostris Edit 負責把 prompt 與參考圖一起編碼
  • Krea 2 Ostris Edit Model Patch 讓模型真的消化 reference latents
  • 如果文字編碼 checkpoint 沒有 Qwen3-VL vision weights,參考圖就無法被正確編碼
  • 如果 conditioning 沒有 reference latents,patch 後的模型會像原本的 Krea2 一樣運作

這也是我會把它歸類為進階 ComfyUI 工作流,而不是單純的模型推薦,若你對節點式 AI 生產平台還不熟,可以先看我整理過的 RunningHub 與 ComfyUI 工作流平台,會比較容易理解為什麼同一個模型放進工作流後,價值會完全不一樣。

私模、社群模型與合規使用要分清楚

這次素材裡有一個很值得注意的提醒:老白訓練的 Krea2 亞洲女性私模不是開源模型,它是投入大量訓練步數與算力成本做出來的商業模型,這類模型能不能商用、能不能轉售、能不能放到平台上提供他人使用,都要看授權條款。

所以我會把工作流和模型分成兩條線來看。工作流可以學,節點可以研究,參數邏輯也值得整理,但私模本身不是「看到連結就能自由拿來用」的資源。若只是想理解 Krea2 工作流,可以先從社群模型、公開節點和 RunningHub 上的示範流程開始。

另外,Krea2 的圖像編輯能力很容易碰到肖像、換裝、仿真與身份一致性問題。越是接近真人或商業素材,越需要確認素材來源、肖像權、授權和平台規範。技術可以做到,不代表每個場景都適合做。

4K 工作流的核心不是暴力放大

這套 4K 思路有一個實用點:先用接近訓練尺寸的長邊出圖,再在 latent 空間放大,最後用第二次採樣補細節。以這次整理的參數來看,長邊 1536 是一個被反覆提到的基準,因為後面還要做倍率放大。

第一個 KSampler 會用比較高的 denoise,例如 `denoise 1`,步數可以抓 8 到 10 步。這一步不是最後成品,而是建立整體構圖與質感。接著在 latent 空間放大,例如 2.5 倍,再進入第二個 KSampler。第二次採樣通常要更保守,避免把第一輪已經穩定的畫面重新打亂。

階段用途重點
第一輪採樣建立構圖與主要質感可用較高 denoise,步數約 8 到 10
latent 放大把畫面放到更高解析度倍率要配合原始長邊與顯存
第二輪採樣補細節與穩定質感採樣器與 denoise 要保守,避免重新洗圖

這個思路和傳統 Stable Diffusion 的高解析修復很像,但放到 Krea2 和 LoRA 組合後,更需要注意模型本身的訓練尺寸與美學方向。你如果常玩本機模型部署,也可以對照我之前寫的 ComfyUI 本機部署 AI 繪圖模型,兩者都在處理「模型能力」和「工作流控制」之間的平衡。

LoRA 權重不是越高越好

這次工作流裡多次出現 LoRA 疊加。單獨使用某個風格 LoRA 時,權重可以先從 0.8 附近測。若兩個 LoRA 一起用,總權重抓在 0.9 到 1.0 比較容易控制,例如一個 0.5,另一個 0.4。

這不是死規則,而是避免模型過度偏移的起點。Krea2 本身的細節與光影已經很強,LoRA 的目的應該是加強風格或概念,而不是把底模原本的結構感整個蓋掉。若出現臉部變形、姿勢不穩、材質變髒,第一個要檢查的通常不是 prompt,而是 LoRA 權重和第二輪採樣是否太激進。

Krea2 工作流適合誰

我覺得 Krea2 這類流程比較適合三種人。第一種是已經熟悉 ComfyUI,想要把參考圖、LoRA、放大與後處理串成固定模板的人。第二種是需要穩定產出社群圖像、封面、人像素材或商品視覺的人。第三種是想研究圖像編輯模型訓練方向的人,因為 Krea2 edit LoRA 的節點設計能看出參考圖 conditioning 的實作脈絡。

如果只是偶爾修圖,可能用線上工具會比較快。如果要長期做工作流、批量產圖、測 LoRA 權重,ComfyUI 仍然比較有彈性。也可以用 AIX Studio 這類 AI 繪圖平台 做比較,看看自己需要的是封裝好的產品,還是可拆解的節點流程。

實作前可以先檢查這幾件事

  • 確認 Krea2 模型與 LoRA 來源,尤其是授權和商用限制
  • 安裝 ComfyUI-Krea2-Ostris-Edit 節點後再重啟 ComfyUI
  • 確認 text encoder checkpoint 含有 Qwen3-VL vision weights
  • 多圖參考要檢查 VAE reference latent 是否真的接進 conditioning
  • 第一輪採樣先穩構圖,第二輪採樣再補細節
  • LoRA 疊加時總權重不要一開始就拉太高
  • 真人、換裝、仿真、商業圖像要先確認合規與授權

若你想直接在線上試工作流,可以看 RunningHub 的 Krea2 Realism Engineer v2 工作流頁面。若人在海外,RunningHub 也有海外站。這類平台的好處是不用先處理本地顯卡和節點衝突,但缺點是工作流可控性和資料隱私要自己評估。

結論

Krea2 圖像編輯真正值得看的,不只是單張效果圖,而是它如何被拆成 ComfyUI 裡的節點、conditioning、model patch、LoRA 權重和雙採樣流程。這讓它從「好看的模型」變成「可調整的生產系統」。

我的建議是先從公開節點和可取得的工作流開始,把參考圖進 conditioning 的路徑搞懂,再去看私模或商業模型是否值得投入。尤其是人像與商業素材,合規使用要放在技術嘗試前面。能生成不是終點,能穩定、可控、可授權地生成,才是 Krea2 工作流真正能落地的地方。

延伸資源

Seedream 5.0 Pro 實測整理:可控圖像編輯才是主線

Seedream 5.0 Pro 實測整理:可控圖像編輯才是主線

Seedream 5.0 Pro 這次最值得注意的地方,不是「又一個更會畫圖的模型」而已。真正的主線,是它把圖像生成、圖像編輯、素材可信任度和後續圖生影片流程接在一起。換句話說,它是在替 Seedance 2.0 這類影像生成流程準備更乾淨、更可控的前置素材。

如果只把它拿來和 GPT Image 或其他圖像模型比美感,會漏掉一半重點,Seedream 5.0 Pro 的定位更像是「可控素材製作工具」,它適合處理商品圖、人物一致性、材質替換、局部修改與多圖參考,也適合被接進 RunningHub 這類 ComfyUI 工作流平台 裡,變成可重複使用的內容流程。

三個核心方向

Seedream 5.0 Pro 的核心方向可以拆成三個

第一是讓圖像編輯更可控,而不是只靠模型自由發揮。

第二是用更模組化的方式提供相對低成本的生成與編輯能力。

第三是讓圖片到影片的路徑更順,特別是和 Seedance 後續版本的銜接。

這三點合起來看,會發現它不是單點功能升級,而是完整內容管線的鋪路,先用 Seedream 5.0 Pro 生成或修好圖片,再把圖片丟進圖生影片模型,理論上可以減少人臉、素材可信任度和審核卡關的問題。這也是為什麼它比一般文生圖模型更值得追。

可控編輯比自由生成更重要

這次最明顯的提升,是局部編輯的可控性。舉例來說,把圖片中的某個玩偶換成另一個物件,或用簡單標記指定要改的區域,Seedream 5.0 Pro 能比較自然地把新物件融入原場景。光影、材質、邊緣融合和背景一致性,是它比較有競爭力的地方。

這對電商圖片很重要,商品圖最怕的是物件看起來像後貼上去,或材質和場景不一致,Seedream 5.0 Pro 比較像是在理解「這個材質應該如何存在於場景裡」,而不是只是把 prompt 文字翻成圖片。

但它也不是萬能,越抽象的概念、越複雜的排版設計、越需要策略性構圖的封面設計,它和 GPT Image 這類模型還是有差距,我的判斷是,Seedream 5.0 Pro 更像 Nano Banana 類型的競爭者,強在可控編輯與素材處理,GPT Image 則更強在理解任務、設計整體版面和處理抽象需求。

材質還原是電商場景的亮點

Seedream 5.0 Pro 對材質的理解很值得注意。測試裡包含服裝布料、球衣、禮服、玩偶、沙發和花材替換,整體看起來比較能保持原本場景的光線與質感。尤其是給定材質參考圖和顏色參考圖時,它能把要求融合到新圖片裡。

這代表它不只是能「換一個東西」,而是能更接近「照著品牌材質和色彩規範換一個東西」。對商品主圖、社群宣傳圖、服裝搭配、場景圖來說,這會比單純漂亮更實用。

用途Seedream 5.0 Pro 的優勢還要注意
商品圖修圖材質融合與局部替換自然需要確認商品真實性與授權
人物一致性臉、服裝和場景一致性提高肖像權與真人仿真風險要先處理
多圖參考可以吸收材質、顏色與風格參考參考圖太多時仍可能混亂
設計排版基礎美感變好抽象概念和版面設計仍不是最強項

為什麼它其實是在幫 Seedance 2.0 鋪路

最有意思的是圖生影片這條線。過去很多 AI 影片工作流的問題,不是影片模型完全不行,而是前置圖片太容易出現臉不穩、素材不被信任、提示詞被擋、或圖片本身和影片模型不匹配。Seedream 5.0 Pro 若能產生更容易被後續流程接受的素材,整個圖生影片鏈條就會順很多。

這也是為什麼我會把它和 AI 動畫分鏡工具OpenMontage 這類本地 AI 影片工作流 放在同一條線上看。未來的內容生產不是單一模型決勝負,而是「圖像模型負責前置素材」「影片模型負責運動」「工作流平台負責串接」。

Seedance 2.0 或後續版本真正要跑得順,前面就需要一個能把人物、商品、材質和場景先整理好的工具。Seedream 5.0 Pro 在這裡扮演的角色,比單純文生圖更關鍵。

目前限制也很明顯

Seedream 5.0 Pro 已經有幾個強項,但限制也不能忽略。抽象概念測試仍不穩,例如要求產出大量不同姿勢或不同表情的頭像格,有時會出現重複動作、理解偏差或排列不如預期。這代表它在「規則化輸出」和「多元素差異控制」上還沒有完全成熟。

設計排版也仍然不是它最強的地方。如果要做品牌封面、資訊圖、海報版面,GPT Image 類模型可能仍然更聰明。Seedream 5.0 Pro 比較適合先做圖像素材,再交給其他設計流程處理版面。

另外還有兩個功能值得觀望。第一是 4K 原生版本。第二是分層能力。分層對設計工作很關鍵,因為它會影響後續能不能像 Photoshop 一樣調整物件、文字、背景與光影。若分層真的穩定開放,Seedream 5.0 Pro 的定位會從圖像模型更靠近設計工具。

RunningHub 工作流怎麼用

說明欄提供了幾個 RunningHub 工作流,包含 Seedream 5.0 Pro 文生圖、Seedream 5.0 Pro 圖像編輯,以及全能圖片 G2 圖像編輯。對不想先處理本地部署的人來說,這種方式最快。你可以先用線上工作流測它是否符合自己的內容需求,再決定要不要進一步研究本地化或自動化。

如果你偏向本地工具鏈,也可以把這次的思路和 ComfyUI 本機部署 AI 繪圖模型 對照。線上工作流省部署,本機部署則更可控。兩者沒有誰一定比較好,差別在你要速度、隱私、成本,還是可調參能力。

我的使用判斷

Seedream 5.0 Pro 值得試,尤其是你有商品圖、人物素材、服裝材質、社群圖片和圖生影片需求。它不是最會做排版的模型,也不是最會理解抽象創意的模型,但它在「把現有素材改得更可用」這件事上很有價值。

我會把它放在 AI 內容生產流程的前段。先用它把人物、商品、材質、色彩和構圖穩住,再接到影片模型或設計工具。這種位置比單純追求一張漂亮圖更實際,也更接近未來 AI 工作流的方向。

至於要不要立刻大量投入,我會等兩件事。第一,4K 原生版本穩不穩。第二,分層功能是不是真的能用在設計流程裡。如果這兩個功能落地,它就不只是又一個圖像模型,而會更像一個能接進商業工作流的圖像基礎工具。