by Rain Chu 9 月 25, 2026 | AI , Stable Diffusion , 圖型處理 , 影片製作 , 繪圖
Stable Diffusion 的基本做法，是從隨機雜訊開始，在文字條件引導下反覆更新潛在表示，最後解碼成圖片。
輸入「一隻卡通柴犬」，模型便逐步生成符合描述的輪廓、色彩與細節。雜訊裡並沒有藏著一張等待被找回的柴犬照片。
理解這個流程，可以分別看 UNet 怎麼學習預測雜訊、CLIP 怎麼處理文字，以及 VAE 為何能減少運算負擔。負
向提示詞與 CFG，則是在生成過程中調整方向的工具。
本文以經典 SD 1.x 的架構為主，不同版本會更換文字編碼器、預測目標或去噪網路，不能把同一套零件規格套到所有模型。
例如 Stable Diffusion 3 採用 Transformer 架構與 rectified flow，若還沒接觸過這類工具，可先看站內早期的 Stable Diffusion 繪圖示例 ，其中舊服務的額度與介面以當前官方資訊為準。
UNet 怎麼學畫圖？先學習估計加進去的雜訊
把一張柴犬照片加入高斯雜訊，就能得到模糊、顆粒很多的版本。訓練程式知道原始資料、抽到的雜訊與時間步，因此有明確的答案可以用來評估模型。
先用 VAE 把訓練圖片編碼成潛在表示。
抽取時間步與高斯雜訊，按照排程把雜訊加進潛在表示。
把帶噪潛在表示、時間步與文字條件送進 UNet。
比較 UNet 預測的雜訊與實際加入的雜訊，更新模型參數。
這裡採用經典的雜訊預測訓練目標，DDPM 論文 說明了前向加噪與反向生成的關係，而 CompVis 原始實作 將去噪工作放進潛在空間，並以文字條件引導。把訓練過程說成「看帶噪圖片，猜出雜訊」容易理解，但實際送進經典 SD UNet 的資料並非 RGB 像素。
從雜訊生成柴犬，為什麼需要反覆更新？
文字生圖時沒有原圖可還原，起點是一份隨機潛在雜訊，UNet 先估計目前狀態中的雜訊，再由 scheduler／取樣器依排程計算下一個狀態，重複後才得到可以解碼的結果。
所以，UNet 的單次輸出不應直接理解成「完成降噪的新圖片」。
預測與更新是兩個步驟。Hugging Face 的流程解說 將 UNet、取樣器與最後的 VAE 解碼分開呈現，有助於看懂 ComfyUI 的節點分工。
示範若把中途結果依序解碼，可能看到柴犬輪廓逐漸清楚。這不代表每一輪都必須經過 VAE，也不代表所有模型都固定需要相同的步數。
CLIP 的工作：把提示詞轉成可用的文字特徵
「卡通柴犬」和「動畫風格的小黃狗」不是同一句話，卻可能描述相近的畫面。
文字編碼器把提示詞轉成數值特徵，讓去噪網路能利用描述中的資訊，相近語意可能得到相關表示，但不同寫法不保證生成同一張圖片。
CLIP 原始研究 使用圖文配對做對比式學習，讓匹配的影像與文字表示更相近，並區分不匹配的組合，拿柴犬照片與汽車照片，分別和「a Shiba Inu」比較，就是直觀的教學案例。這種相似度是表示之間的相對關係，不能直接當成辨識正確率。
在經典文字生圖流程中，主要使用 CLIP 的文字編碼器，透過 cross-attention 把條件交給 UNet，CLIP 的影像編碼器並不是每個去噪步驟都要使用的零件。這也不表示所有圖像生成應用都不需要影像編碼器，加入參考圖的其他管線可能另有設計。
VAE 的工作：在較小的表示中生成，再還原成圖片
VAE 包含 encoder 與 decoder。前者把圖片編碼成潛在表示，後者把潛在表示重建成可見圖片。訓練與圖生圖會需要影像編碼，從純雜訊開始的標準文字生圖則主要在最後使用解碼器。
Latent Diffusion 原始論文 的關鍵，是把反覆進行的擴散運算移到較低維度的表示中，兼顧運算成本與視覺細節。這是經過學習的表示，和把照片縮成小張的縮圖不同。
1024 × 1024 的影像，為什麼會出現 1/48 和 1/12？
以寬、高各縮小 8 倍、潛在通道數為 4 的經典 VAE 為例，可做以下尺寸計算。這只說明表示大小，不表示 SD 1.x 原生訓練解析度就是 1024 × 1024。
表示方式 寬 × 高 × 通道 數值個數 RGB 影像 1024 × 1024 × 3 3,145,728 VAE 潛在表示 128 × 128 × 4 65,536
依經典 VAE 的尺寸規則計算，並非生成速度或顯存用量的實測比較。 只比數值個數 ，比例是 1/48。如果原始 RGB 每個數值用 1 byte，而潛在表示使用每個數值 4 bytes 的 FP32，則是 3 MiB 對 256 KiB，資料儲存量 才是 1/12，兩個比例用了不同的比較基準，不能混為一談。實際顯存還包括模型權重、中間運算與其他元件，不會直接照這個比例下降。
反覆重建與旋轉潛在表示，能看出什麼？
把同一張圖重複編碼、解碼，可以觀察有損重建造成的細節變化。但單張示例不能證明每次都會以相同程度劣化，也不能把 VAE 訓練簡化成只有一項逐像素比對。VAE 的原始方法 還包含對潛在分布的約束，實際影像自編碼器也可能使用感知與對抗式目標。
負向提示詞怎麼用？以不戴墨鏡的柴犬為例
想要一隻不戴墨鏡的柴犬，可以先把正向提示詞寫成 a Shiba Inu, clear eyes，負向提示詞填 sunglasses。這是方便測試的起點，不是保證成功的固定配方。
把「不戴墨鏡」整句放在正向提示詞裡，可能無法穩定排除墨鏡。較準確的說法是，這類模型對否定與複雜語意關係的遵循有限，不能推論 CLIP 永遠只懂肯定句，Diffusers 的負向提示詞說明 把它定位為讓生成方向遠離不想要的內容或特徵。
CFG 調整的是兩份預測之間的差異
在支援負向條件的常見 CFG 實作中，模型會估計正向條件與負向條件下的雜訊預測，再依下式組合，沒有填負向詞時，通常使用空文字條件作為基準。
引導後預測 = 負向預測 + CFG ×（正向預測 − 負向預測）
這裡相減的是雜訊預測張量 ，不是把一張「戴墨鏡的狗」從圖片上剪掉，也不是對文字做算術，基礎概念來自 Classifier-Free Guidance 研究 ，正負條件的組合方式可對照 Diffusers 管線實作 。
CFG 提高會加強兩份預測的差異，但數值過高可能出現失真或不自然的色彩。若負向詞寫得太廣，也可能干擾想保留的元素。先用少量具體詞彙測試，比整串貼上負向詞更容易判斷哪個設定有效。
把完整流程接起來，就能看懂主要設定
提示詞先經 tokenizer 與文字編碼器，形成文字條件。
seed 參與決定初始隨機雜訊，作為生成的起點。
UNet 接收潛在表示、時間步及文字條件，估計雜訊。
依需要使用 CFG，取樣器再更新潛在表示，反覆進行到設定步數。
最後以 VAE decoder 轉成 RGB 圖片。
想測提示詞效果，先固定模型、seed、尺寸、取樣器與步數，每次只改一個條件，相同 seed 有助於比較，但跨軟體版本、硬體或不同管線，不保證逐像素重現，步數也不是越高越好，應依所用模型與取樣器的設計調整。
下載模型時，還要分清主模型、文字嵌入與附加權重，站內的 Stable Diffusion 模型類型整理 可用來辨認常見檔案類型，實際相容性仍以各模型說明為準。
LoRA 與蒸餾，和去噪有什麼不同？
LoRA 是調整模型參數的方法。 LoRA 論文 以低秩更新減少需要訓練的參數。用在擴散模型時，它可能調整去噪網路或其他部分的行為，但 LoRA 本身不等於一次去噪，也不是另一種取樣器。想觀察權重怎麼影響風格，可延伸看 LoRA 權重與分層設定 ，留意文中外掛與模型版本的適用範圍。
蒸餾則是利用教師模型的訊號訓練學生。 在圖像生成裡，目標之一是讓學生以較少步數完成生成，例如 Adversarial Diffusion Distillation 。這需要額外訓練，不能靠把一般模型的步數直接調低就獲得同樣效果，也不一定讓參數量變少。站內 模型蒸餾原理整理 說明了更廣泛的教師與學生關係，圖像模型的具體訓練目標仍要另外看。
Stable Diffusion 原理常見問題
Stable Diffusion 是從雜訊中找回原本的圖片嗎？
標準文字生圖從隨機雜訊開始，沒有一張特定原圖等待還原。模型依文字條件與訓練中學到的規律，逐步生成潛在表示，再解碼成圖片。
UNet、CLIP、VAE 分別做什麼？
在經典 SD 架構中，UNet 預測雜訊，CLIP 的文字編碼器提供文字條件，VAE 負責圖片與潛在表示之間的轉換。取樣器另行決定每一步怎麼更新。
負向提示詞可以保證排除指定物件嗎？
不能保證。它會影響生成方向，但效果取決於模型、正負條件、CFG 與其他設定。應使用具體詞彙逐項測試，而非把它當成物件刪除指令。
VAE 會讓圖片變模糊嗎？
VAE 重建有損，細節與色彩可能改變。是否明顯取決於模型與圖片，反覆編碼解碼也可能累積差異。它不是一般圖片縮放或完全無損壓縮。
生成步數越多，圖片一定越好嗎？
不一定。超過適合的範圍，增加步數可能只有額外耗時。蒸餾模型也可能針對少步數設計，應使用該模型建議的取樣方式與設定。
從一個可比較的小實驗開始
用同一個模型生成柴犬，固定其他設定，依序比較正向描述、負向詞與 CFG 的變化。知道每個元件在做什麼之後，調整設定就能帶著問題進行，不必只靠反覆抽圖。
by Rain Chu 9 月 11, 2026 | AI , skills
fal.ai 是一個生成式媒體 API 平台，它把多家圖片、影片、音訊與 3D 模型放在同一套介面下，開發者不必為每一家服務分別串接帳號與 SDK。再把操作規則包成 Codex Skill，就能讓 Codex 根據任務選模型、整理提示詞、上傳參考圖、送出工作、追蹤結果，最後把檔案下載到專案資料夾。
這套方式真正省下的是固定訂閱與切換工具的時間，不是讓付費模型突然變成免費。fal.ai 採預付點數與按量計費，圖片可能依張數或百萬像素計價，影片常依秒數、解析度或單次輸出計價。對偶爾生成、需要跨模型比較的人很有彈性，長期大量生成前則一定要先算成本。
先講結論，fal.ai 適合什麼人
做法 適合情況 優點 要注意什麼 fal.ai Playground 偶爾做一兩張圖或測模型 不用先寫程式，直接調參數 重複任務仍要手動操作 fal.ai 加 Codex Skill 固定工作流、批次產出、專案整合 能保存規則、命名、目錄與成本檢查 需要 API 點數與基本設定 單一平台訂閱 高度依賴固定工具與固定模型 介面完整，方案可能含較高用量 不用時仍可能支付月費 本地 ComfyUI 生成量大、重視隱私、已有顯卡 沒有每次 API 費用，控制度高 需要顯存、硬碟與維護經驗
如果每個月只做少量成品，又想在 Nano Banana、GPT Image、Seedance、Kling、MiniMax 等模型之間切換，按量付費通常比同時維持多個訂閱直覺。若每天大量產圖，或素材不能離開本機，則可以先看 Krea2 與 ComfyUI 圖像編輯工作流 ，影片生成也可參考 LTX 2.3 本地部署教學 。
Skill 的價值不是多一個聊天指令
Skill 可以把一套反覆使用的製作規則交給 Codex。它不只是記住「呼叫 fal.ai」，而是先判斷這次是文字生圖、圖片編輯、文字生影片或圖生影片，再選對端點與參數。不同操作通常有不同的模型 ID，文字生圖與圖片編輯即使使用同一模型，也不能假設共用同一個端點。
讀取 參考圖 資料夾，辨認可用素材與用途
先擴寫提示詞，再讓使用者確認內容與預估費用
依圖片、影片、編輯或動畫需求選擇端點
使用日期、模型與任務名稱建立可追蹤檔名
把結果下載到 完成檔，不要只留下暫時網址
保存請求 ID、模型 ID、主要參數與實際輸出
這和用 Codex 製作動畫的思路相同。工具負責執行，Skill 負責把規格、步驟與驗收條件固定下來。想再理解 Skill 如何控制視覺製作，可以延伸閱讀 7 個 AI 動畫 Skills 怎麼選 與 Codex 動態圖表和短影片工作流 。
建立專案與安裝 Python 套件
先在工作目錄建立 Skill、參考圖與完成檔資料夾，再建立獨立的 Python 環境。
mkdir -p .codex/skills/fal-media/scripts
mkdir -p 參考圖 完成檔
python3 -m venv .venv
source .venv/bin/activate
python -m pip install fal-client python-dotenv到 fal.ai Dashboard 建立 API Key。只需要呼叫模型時先選 API 權限，不必一開始就給管理權限。金鑰只會完整顯示一次，取得後放進專案根目錄的 .env。
FAL_KEY=在這裡填入自己的金鑰接著把 .env 與輸出資料夾加入 .gitignore。不要把金鑰貼進聊天內容，也不要寫在 Skill、Python 程式或 Git 儲存庫裡。
.env
.venv/
完成檔/先用圖片完成第一個測試
模型名稱與輸入欄位會隨模型不同而改變，送出前要先看該模型的 API 頁面。下面以 Nano Banana 2 的文字生圖端點示範。第一次先產一張低風險測試圖，確認金鑰、額度與輸出格式都正常。
from pathlib import Path
from urllib.request import urlretrieve
import fal_client
from dotenv import load_dotenv
load_dotenv()
result = fal_client.subscribe(
"fal-ai/nano-banana-2",
arguments={
"prompt": "明亮自然光下的現代木質工作桌，畫面乾淨，寫實產品攝影",
"num_images": 1,
},
)
output = Path("完成檔/fal-nano-banana-2.png")
output.parent.mkdir(parents=True, exist_ok=True)
urlretrieve(result["images"][0]["url"], output)
print(output)subscribe() 會自動進入佇列並等待結果，適合圖片與短時間測試。若要做圖片編輯，先用 fal_client.upload_file() 上傳本地參考圖，再依模型文件切換到編輯端點，例如 fal-ai/nano-banana-2/edit。輸入欄位可能是單一圖片或圖片陣列，不能直接把另一個模型的參數名稱搬過來。
影片任務改用佇列
影片生成時間較長，正式流程應使用 submit() 先取得請求 ID，再查狀態或接 webhook。這樣即使終端關閉，仍能用請求 ID 找回工作。下面使用 Seedance 2.0 文字生影片端點 ，參數依目前官方文件填寫。
from pathlib import Path
from urllib.request import urlretrieve
import fal_client
from dotenv import load_dotenv
load_dotenv()
handler = fal_client.submit(
"bytedance/seedance-2.0/text-to-video",
arguments={
"prompt": "清晨的城市屋頂，一架小型無人機緩慢掠過，電影感廣角鏡頭，自然環境聲",
"resolution": "720p",
"duration": "5",
"aspect_ratio": "16:9",
"generate_audio": True,
"bitrate_mode": "standard",
},
)
print(f"request_id: {handler.request_id}")
result = handler.get()
output = Path("完成檔/fal-seedance-2.mp4")
output.parent.mkdir(parents=True, exist_ok=True)
urlretrieve(result["video"]["url"], output)
print(output)這個範例最後仍用 handler.get() 等待完成，目的是讓第一次測試保持簡單。大量任務應保存請求 ID，定期查詢狀態，或把 webhook URL 傳給 submit()。新的 fal.ai 帳號通常從較低的同時執行數開始，超出的工作會留在佇列，不需要自己不斷重送。
可以直接交給 Codex 的 Skill 提示詞
先讓 Codex 建立 .codex/skills/fal-media/SKILL.md 與必要腳本。下面這段不是一次性的生圖提示詞，而是用來定義整套工作方式。
請在目前專案建立一個 fal-media Codex Skill，使用 Python fal-client。
工作規則
1. API 金鑰只從環境變數 FAL_KEY 讀取，不得顯示、記錄或寫入程式碼
2. 先判斷任務屬於文字生圖、圖片編輯、文字生影片或圖生影片
3. 呼叫前先讀取對應模型的官方 API 文件，確認端點 ID、必要欄位、輸出格式與目前價格
4. 讀取參考圖資料夾中的素材，列出準備使用的檔名與用途
5. 先把我的簡短需求整理成完整提示詞，但在產生前必須讓我確認提示詞、模型、解析度、時長、數量與預估費用
6. 圖片測試可使用 subscribe，影片與長時間任務使用 submit 並保存 request_id
7. 生成完成後立刻下載到完成檔資料夾
8. 檔名格式為日期時間、模型短名、任務短名
9. 同時保存一份 JSON 紀錄，包含端點 ID、參數、request_id、輸出路徑與執行時間
10. 失敗時先回報錯誤與可能費用，不要自動無限重試
請先建立檔案與顯示差異，不要實際呼叫付費 API。Skill 建好後，日常任務可以簡化成一段明確需求。
請使用 fal-media Skill，把參考圖中的咖啡機做成 5 秒 16:9 產品影片。
鏡頭從正面特寫緩慢拉遠，保留機身外型與顏色，加入清晨窗光和少量蒸氣。
先比較兩個適合的圖生影片模型，列出各自預估費用、速度與限制。
等我確認模型與完整提示詞後才開始生成。提示詞要固定哪些資訊
目的與輸出類型，例如商品首圖、社群短片或角色動作測試
主體、場景、動作與必須保留的特徵
構圖、鏡頭、光線、材質與色彩
尺寸、比例、時長、解析度與輸出數量
參考圖的用途，例如保留人物、只取服裝或只參考構圖
避免事項，例如不要改 Logo、不要增加文字、不要改變產品比例
成本上限與開始前是否需要人工確認
擴寫提示詞不是把形容詞堆得越多越好。對圖片而言，主體、構圖、光線與限制比華麗文字重要。對影片而言，還要明確交代起始狀態、動作順序、鏡頭移動、時間長度與聲音。一次只測一個主要變因，才能知道品質改變來自模型、提示詞還是參數。
不是免費，只是把固定月費改成按量計費
fal.ai 使用預付點數。依官方說明，成功輸出才會依模型單位計費，排隊時間與伺服器錯誤通常不計費，但若使用者端錯誤發生前已經啟動 GPU 工作，仍可能產生費用。已購買點數目前有期限，模型價格也可能調整，所以文章裡的舊價格不能代替每次執行前的模型頁面。
圖片先用一張與較低解析度測試
影片先做 4 到 5 秒，再決定是否延長
送出前顯示模型單價、數量、秒數與預估總額
設定單次成本上限，超過就停止並要求確認
不要在失敗後自動切換更貴模型
保存 request_id，避免誤以為失敗而重複送出
對只想偶爾試一張圖的人，直接使用 Playground 會更省事。對已經每天用 Codex 管專案的人，Skill 的價值才會明顯，因為相同的命名、資料夾、模型選擇與確認規則都能重複使用。至於高頻生成，應把 fal.ai、固定訂閱與本地工作流的實際月成本放在一起比較。
API 金鑰、參考圖與成品都要保護
前端網頁或桌面 App 不能把 FAL_KEY 直接打包進程式。瀏覽器程式碼可被查看，應由自己的後端代理請求，再由伺服器附加金鑰。桌面工具也應使用系統安全儲存區或後端，而不是把金鑰放在可讀取的設定檔。
資料保留同樣不能忽略。fal.ai 文件目前指出，JSON 請求與回應預設可能保留一段時間，可透過 X-Fal-Store-IO 控制平台不要保存這部分內容。但生成的媒體網址屬於另一件事，拿到網址的人可能可以存取，且 CDN 檔案不是永久保存。敏感素材應先確認模型與平台政策，完成後立刻下載，並依需求設定媒體生命週期。
我的建議工作流
先在 fal.ai Playground 用同一段需求比較兩個模型
確認畫質、速度、授權、輸入格式與目前單價
把選定端點寫進 Skill 的模型對照表
讓 Codex 擴寫提示詞並列出預估成本
人工確認後只做一張圖或 5 秒影片
檢查主體一致性、文字、構圖、聲音與瑕疵
通過後才增加解析度、時長或數量
下載成品並保存參數與 request_id
如果最後還要把多段素材組成完整內容，可以把生成素材交給 OpenMontage 本地影片工作流 或 HyperFrames。
fal.ai 比較像生成引擎與模型入口，Skill 負責製作規則，剪輯與編排工具則負責把素材變成能交付的作品。
FAQ
fal.ai 是免費的嗎
不是。它主要採預付點數與按量計費，不同模型、解析度、秒數與輸出數量會影響費用。少量使用可能比維持多個月費訂閱划算，但不代表零成本。
一定要建立 Codex Skill 嗎
不一定。只測一次模型，直接用 Playground 最快。需要反覆處理參考圖、提示詞、模型選擇、成本確認、下載與命名時，Skill 才能省下大量重複操作。
可以把 API Key 貼給 Codex 嗎
不要。把金鑰存成 FAL_KEY 環境變數，並讓程式直接讀取。對瀏覽器與公開 App，必須透過後端代理，不能把金鑰放在前端。
生成完成後可以只保存網址嗎
不建議。CDN 有保留期限，且媒體網址可能被持有網址的人存取。完成後應立即下載到自己的儲存空間，並保存請求 ID 與模型參數。
官方資源
by Rain Chu 8 月 28, 2026 | AI , GGUF , Stable Diffusion , 圖型處理 , 影片製作 , 繪圖
LTX 2.3 把畫面、聲音、人物動作與鏡頭運動放進同一套生成流程，還能透過 ComfyUI 在本機執行，對只有 8GB 顯存的使用者來說，社群 GGUF 量化工作流確實打開了一扇門，但「能跑」不等於完整模型全放進顯存，也不代表每台電腦都能在不到一分鐘內完成。
我會把 LTX 2.3 定位成一個適合實驗同步影音、角色短片與圖生影片的本地模型，它可以成為 OpenMontage 本地 AI 影片工作流 裡的生成引擎，也可以獨立放在 ComfyUI 裡反覆調整。真正要先弄清楚的，是權重版本、顯存、系統記憶體與工作流之間的關係。
LTX 2.3 改進了什麼
LTX 2.3 官方頁面 把這次更新整理成幾個核心方向。新的 VAE 改善髮絲、材質與邊緣細節，較大的文字連接器能理解多主體、空間關係、動作與鏡頭指令，圖生影片減少了畫面凍結與只做平移縮放的情況，音訊也換上新的 vocoder，降低雜音、靜音缺口與突然中斷。
支援文生影片與圖生影片
能在同一個流程生成畫面與同步音訊
改善人物微表情、動作與鏡頭運動
原生支援最高 1080×1920 的直式影片
提供完整權重、Distilled、FP8 與社群量化方案
官方也提醒，LTX 2.3 採用新的 latent space，舊版 LoRA 不能直接當成完全相容的資產，通常需要重新訓練。這點比單純更新模型檔更重要，已經累積大量 LTX 2 工作流的人要先做相容性測試。
8GB 顯卡能跑，但要先拆掉一句話裡的誤會
官方 ComfyUI 文件 把標準本地工作流的前置條件列為 32GB 以上顯存與 100GB 以上可用磁碟空間。8GB 顯卡路線使用的是社群 GGUF 量化權重、模型卸載與系統記憶體，不是把 BF16 完整權重硬塞進 8GB 顯存。
版本 適合用途 主要取捨 BF16 Dev 品質驗證與正式輸出 硬體需求最高 Distilled 快速迭代與工作流測試 速度優先 FP8 較低顯存的官方量化路線 品質與資源需求折衷 GGUF Q4 或 Q5 8GB 到 16GB 顯存的社群工作流 依賴 CPU offload、系統記憶體與相容節點
以 QuantStack 的 LTX 2.3 GGUF 為例，Q5_K_S 檔案約 18.5GB，已經大於 8GB 顯存。能在 8GB 顯卡執行的關鍵，是工作流不要求所有資料同時留在 GPU。代價是更吃系統記憶體與資料搬移時間。想進一步理解 GGUF 與量化的角色，也可以對照站內的本地模型推理框架比較 。
GGUF 檔案大小不等於最低顯存需求，但能直接看出為什麼 8GB 路線必須依賴卸載與系統記憶體 我的硬體建議很簡單。，GB 顯存可以從 Q4 或經驗證的低顯存工作流開始，系統記憶體最好準備 32GB 以上，12GB 到 16GB 顯存會比較有調整空間。若要使用 BF16、較高解析度、長片段或多階段放大，32GB 以上顯存才接近官方設定，實際速度還會受 GPU 架構、RAM、磁碟、解析度、影格數與節點版本影響。
最省事的安裝方法是官方模板
第一次安裝不要急著手動搬十幾個檔案，先把 ComfyUI 更新到支援 LTX 2.3 的版本，再用模板庫建立一條能正常執行的基準工作流，這和我整理 Ideogram 4 的 ComfyUI 本機部署 時採用的思路一樣，先跑通官方基線，再加入量化與自訂節點。
開啟 ComfyUI Desktop 或現有 ComfyUI
完成程式與前端更新後重新啟動
進入 Templates 並切換到 Video
搜尋 LTX-2.3
先安裝 Image to Video 與 Text to Video 模板
按下 Download all 取得必要模型
重新啟動後先用低解析度與少量影格測試
官方建議先用 480×720 與 41 到 81 個影格確認流程，工作流穩定後，再提高解析度、片長與品質。這一步看起來保守，卻能很快分辨問題來自模型、節點、顯存，還是提示詞。
手動安裝時，模型應該放在哪裡
ComfyUI Desktop、Portable 與自行安裝版的根目錄可能不同，最穩的方法是從 ComfyUI 介面打開模型資料夾，再依下面的相對路徑放置。不要直接照抄別人的 Windows 使用者名稱。
檔案類型 建議路徑 用途 官方主模型 models/checkpoints/LTX-Video BF16、Distilled 或官方檢查點 社群 GGUF models/unet 交給 GGUF Loader 載入 文字編碼器 models/text_encoders Gemma 3 與 LTX 文字投影 視訊與音訊 VAE models/vae 解碼影像、聲音與預覽 LTX 2.3 LoRA models/loras/LTX-2.3 Distilled、風格或控制能力
原始權重可從 LTX 2.3 Hugging Face 取得。官方推理程式與訓練工具位於 Lightricks LTX-2 GitHub ，ComfyUI 節點與範例工作流則在 ComfyUI-LTXVideo 。
匯入工作流後出現紅色節點怎麼辦
紅色節點通常不是模型壞掉，而是工作流引用了本機尚未安裝的自訂節點。先在錯誤視窗選擇 Install Missing Custom Nodes，完成後按 Apply Changes 並重新啟動，若仍缺少 Fast Groups Bypasser 類節點，可在 Manager 搜尋並安裝 rgthree-comfy 。
GGUF 權重還需要 ComfyUI-GGUF 。安裝後重新啟動，在畫布空白處搜尋 GGUF Loader，把原本模型載入器的輸出改接到工作流的 model 輸入，再重新整理節點並選擇 Q4 或 Q5 檔案。
一個可以直接改寫的繁中提示詞
LTX 2.3 的提示詞不要只寫「讓照片動起來」。把人物動作、對白、聲音、鏡頭、畫質與禁止項目分開，模型比較容易理解時間順序與同步關係。
場景與動作
一名年輕女子站在安靜的室內，先看向鏡頭，再輕輕吸一口氣，以略帶緊張但自然的神情說話。嘴唇清楚說出指定的中文台詞，嘴型與發音準確同步。
聲音
自然的年輕華語女聲，語氣柔和、真實、略帶緊張，像日常交談，不要誇張。保留輕微呼吸聲與安靜室內環境音，不要配樂。
鏡頭
鏡頭緩慢推近臉部，只有很輕微的手持感。淺景深，焦點穩定，自然室內光線。
畫面品質
寫實電影感，皮膚紋理自然，眼神與微表情細膩，髮絲運動合理，動作流暢，人物身份保持一致。
避免項目
不要字幕，不要畫面文字，不要額外人物，不要旁白，不要機械聲，不要誇張表情，不要臉部變形，不要嘴唇變形，不要突然移動鏡頭。實際使用時，把第一段換成你的角色、場景、動作與台詞即可。先固定一個鏡頭與一個主要動作，再逐步增加人物、轉場與複雜聲場。一次要求太多事件，往往比模型能力不足更容易造成身份漂移。
中文對白可用，但字幕最好留給後製
實測裡最值得記下來的缺點，是中文畫面文字仍可能出現亂碼，即使官方表示文字渲染已改善，這不代表長句中文字幕已經可靠，若提示詞要求中文對白，模型有時還會自行生成錯誤字幕。
提示詞明確加入「不要字幕、不要畫面文字」
先生成乾淨畫面與聲音
輸出後再用剪輯軟體或字幕工具加入繁中字幕
若聲音品質不穩，可把畫面生成與語音生成拆成兩條工作流
需要更細的角色音色控制時，可以搭配Qwen3-TTS 音色設計工作流 ，讓 LTX 2.3 專注畫面，再由語音模型與後製負責台詞品質，這通常比強迫單一模型同時把中文聲音與中文字都做到完美更務實。
本地還是雲端，差別不只在費用
本地工作流的優點是素材不必上傳第三方、模型與節點可自行調整，而且安裝完成後沒有逐秒 API 費用，缺點是模型檔很大，節點版本容易衝突，還要自己處理顯存與輸出速度。若你比較在意快速試模板與交付，也可以對照RunningHub 的雲端 ComfyUI 工作流 ，再決定控制權與便利性哪個重要。
解除限制版本不是品質保證
社群常用「無審查」或「解除限制」描述修改版權重。這只代表輸入限制可能不同，不代表畫質、授權、安全性或商用條件比官方版本更好。下載前要確認模型來源、授權條款與檔案雜湊，人物照片與聲音也必須取得同意。
尤其是換臉、移除人物、替換台詞與生成擬真人物時，更要避免冒用身份、未經同意的私密內容與誤導性成品。LTX 官方也有商業授權條件，企業使用前應直接閱讀最新授權，而不是只看模型能不能下載。
下載與參考資源
我的結論
如果目標是直式角色短片、圖生影片、帶環境音的短場景，LTX 2.3 很值得測，若目標是穩定中文字、長篇敘事或大量商業輸出，仍要把字幕、語音、剪輯與品質檢查拆成獨立步驟。模型負責生成，工作流負責把結果變成可以交付的作品。
FAQ
LTX 2.3 真的能在 8GB 顯卡執行嗎
可以，但通常要使用 GGUF 量化權重、CPU offload 與足夠的系統記憶體。8GB 指的是可嘗試的顯存門檻，不代表完整模型全放在 GPU，也不保證固定生成速度。
新手應該選 BF16、FP8 還是 GGUF
先用官方 Distilled 或 FP8 模板確認工作流。顯存不足再改用 GGUF。BF16 適合硬體充足並且重視品質的人，GGUF 適合願意接受卸載、速度與相容性取捨的低顯存使用者。
為什麼匯入工作流後有紅色節點
多半是缺少自訂節點或節點版本太舊。先執行 Install Missing Custom Nodes，再更新 ComfyUI、ComfyUI-LTXVideo、rgthree-comfy 與 ComfyUI-GGUF，完成後重新啟動。
中文對白為什麼會出現亂碼字幕
模型可能把對白理解成需要同步生成的畫面文字，而中文長句仍不穩定。提示詞加入不要字幕與不要畫面文字，先生成乾淨影音，再於後製加入繁中字幕最可靠。
LTX 2.3 可以離線使用嗎
模型、節點與依賴下載完成後可以在本機執行。首次安裝、更新模型或補齊節點仍需要網路，並且要預留足夠磁碟空間。
by Rain Chu 8 月 6, 2026 | AI , 影片製作 , 繪圖
MiniMax H3 把文字、圖片、影片和音訊放進同一套生成系統，可以一次產生含有人聲、環境音與音樂的影片，它不只支援文生影片和圖生影片，也能指定首尾幀，或用多張圖片、參考影片與聲音控制角色、運鏡和音色。對本地 AI 影片工作流來說，這比單純追求畫質更重要。
先講結論。MiniMax H3 已經提供可下載權重，也有 ComfyUI 原生模板，但它不是一個只需要 8GB 的小模型。官方精簡量化工作流的主要檔案合計約 39.55GiB。8GB 顯存要依靠模型卸載、系統記憶體和虛擬記憶體，生成速度與穩定度都會受到影響。
MiniMax H3 是什麼
MiniMax H3 是通用型全模態生成系統。它可以理解由文字、圖片、影片和音訊組成的上下文，再共同預測影片與立體聲音訊，官方規格支援 4 到 15 秒、24 FPS、最高 2K 的輸出，並能處理中文、英文、日文、韓文等 11 種較穩定的對話語言。
項目 官方規格 實際意義 輸入 文字、圖片、影片、音訊 可混合角色、場景、動作、運鏡與聲音參考 輸出長度 4 到 15 秒 適合廣告鏡頭、短片段與分鏡 幀率 24 FPS 以電影常用幀率直接產生 本地基礎解析度 短邊 768px 16 比 9 約為 1344 乘 768 2K 透過 H3-Regenerate-2K 目前需要官方服務，完整模組尚未釋出 音訊 32kHz 立體聲 人聲、音效與音樂和畫面共同生成
Reference-to-Video 模式最多可接 9 張圖片、3 段參考影片與 3 段音訊。每段影片或音訊需要介於 2 到 15 秒，所有參考影片的總長度不超過 15 秒，混合輸入最多 12 個檔案。音訊不能單獨作為唯一參考，必須搭配圖片或影片。
Open weights 不等於完整開源
MiniMax H3 比較準確的稱呼是「開放權重」，完整系統由 H3-Context-IR、H3-Base 和 H3-Regenerate-2K 組成，目前可在本地執行的是 H3-Base。負責理解複雜多模態素材的 H3-Context-IR，以及把 768p 重新生成為 2K 的 H3-Regenerate-2K 都尚未釋出，只能透過官方 API 使用。
官方也說明，初始版本只提供 full attention 推理，用來降低長序列運算量的 sparse attention 會在後續更新，因此，本地工作流和官方線上 2K 成果不一定完全相同，提示詞越簡略，缺少 Context-IR 的差異越明顯。
H3 的架構為什麼這麼大
H3-Omni-Transformer 是 33B dense 單流 Transformer，其中約 13B 參數位於 AdaLN 相關分支，推理時可以預先計算並快取這些 AdaLN 調制結果，所以 ComfyUI 提供 pruned 版本，把不需要每次載入的權重移除，這就是 pruned INT8 主模型能從完整 BF16 的 61.73GiB 降到約 19.53GiB 的原因。
文字和多模態條件則由 Qwen3-VL 32B 編碼器處理。最後還要載入影片 VAE 與音訊 VAE。因此，H3 不是只下載一個 safetensors 就能運作，而是一組彼此配合的模型元件。
官方精簡量化工作流的四個主要檔案合計約 39.55GiB。檔案可以在運作時分批卸載，但磁碟與系統記憶體仍要保留足夠空間。 元件 建議量化檔 大小 放置目錄 H3 FL2VA 主模型 pruned INT8 ConvRot 19.53GiB models/diffusion_models Qwen3-VL 編碼器 NVFP4 AWQ 14.61GiB models/text_encoders 影片 VAE FP16 4.85GiB models/vae 音訊 VAE FP32 0.56GiB models/vae
如果要使用多參考素材的 R2V 模式，主模型要改成 ref2va 版本，FL2VA 適合文生影片、圖生影片與首尾幀，Ref2VA 才是用角色、動作、運鏡和聲音參考生成新片段的版本，兩套主模型不能混用。
Arena 成績怎麼看
2026 年 8 月初的 Arena 快照中，MiniMax H3 在圖生影片約為 1476 分，在文生影片約為 1455 分，圖生影片和 Seedance 2.0 的差距只有約 2 分，文生影片也進入前段班，由於 Arena 會持續加入新模型與新投票，排名與分數會變動，這組數字只能當作發表初期的參考。
實際價值不只在單張畫面。武俠對話、角色特寫、太空飛行、動態 MV 與商品廣告等案例，最明顯的提升是鏡頭、口型、音效和場景能放在同一條時間軸裡。這和先產生無聲畫面，再交給另一個模型補音效的流程不同。想比較其他本地影片工具，可以延伸閱讀 OpenMontage 本地 AI 影片工作流 。
用 ComfyUI Desktop 安裝 MiniMax H3
最簡單的方法是安裝最新版 ComfyUI Desktop 。官方要求 ComfyUI 0.30.0 或更新版本，啟動後進入 Template Library，選擇 Video，再搜尋 MiniMax H3。可以先從 T2V 或 I2V 模板開始，缺少的官方模型會顯示下載提示。
更新 ComfyUI 到 0.30.0 或更新版本
開啟 Template Library
進入 Video 類別並選擇 MiniMax H3 T2V、I2V 或 R2V
依模板提示下載模型
先將 duration 設為 4 到 6 秒
將 megapixels 設為 0.2 到 0.4 進行預覽
確認人物、動作和聲音正確後，再提高解析度與長度
完整檔案結構如下。實際安裝根目錄會因 Windows、macOS、Linux 和 Desktop 版本而不同，建議從 ComfyUI 選單開啟模型目錄，不要直接照抄別人的 AppData 絕對路徑。
ComfyUI/
├── models/
│ ├── diffusion_models/
│ │ └── minimax_h3_fl2va_pruned_int8_convrot.safetensors
│ ├── text_encoders/
│ │ └── qwen3vl_32b_minimax_h3_nvfp4_awq.safetensors
│ └── vae/
│ ├── minimax_h3_video_vae_fp16.safetensors
│ └── minimax_h3_audio_vae_fp32.safetensors
└── custom_nodes/如果你已經在使用 ComfyUI，可以參考 Krea2 的 ComfyUI 多圖工作流 理解模型目錄與節點連線，想把工作流放到雲端管理，也可以看 RunningHub 與 ComfyUI 工作流平台 。
8GB 顯存真的能跑嗎
有機會啟動，不代表適合長時間使用，8GB 顯存需要把大量權重卸載到系統記憶體，Windows 可能還會進一步使用虛擬記憶體。這會讓 GPU 在運算與資料搬移之間等待，也會增加 SSD 讀寫。解析度、影片長度、參考素材數量和 VAE 解碼都可能造成記憶體尖峰。
8GB 顯存 ：從 0.2MP、4 秒和單一參考圖開始，準備充足系統記憶體與 NVMe 空間12GB 顯存 ：較適合 480p 附近的短片預覽，仍需模型卸載16GB 顯存 ：可以嘗試 0.2MP 到 0.4MP，再用影片放大工具處理24GB 以上 ：工作流更實用，但完整 768p 與多參考素材仍要監看記憶體
比較務實的做法是先用 864 乘 480 或更低解析度確認運鏡和角色一致性，再進行高解析重繪或 2K 放大，Sage Attention 也能改善速度，ComfyUI 官方文件表示，在相容硬體與正確 CUDA 環境下，速度可能接近兩倍，但部分層仍會回退到標準 attention。
Qwen3-VL Ultra Heretic H3 不是影片主模型
使用者提供的 Qwen3-VL-32B Ultra Heretic H3 ComfyUI 是 H3 的條件編碼器與提示詞 generation tail，不是 MiniMax H3 的影片生成主模型。它建立在經過 Heretic 修改的 Qwen3-VL 32B 上，主要作用是減少拒答，並在 ComfyUI 裡產生或強化 H3 提示詞。
檔案 用途 大小 Heretic BF16 encoder Qwen3-VL 第 0 到 49 層與完整 vision tower 47.97GiB Heretic INT8 ConvRot encoder 較省記憶體的條件編碼器 24.55GiB INT8 generation tail 第 50 到 63 層、final norm 與 LM head 7.09GiB
只想使用官方 H3，不需要下載這套 Heretic 檔案。要使用提示詞增強器，通常下載 INT8 encoder 與相符的 generation tail，兩個檔案都放到下面的目錄。
ComfyUI/models/text_encoders/H3/如果還想把這組 encoder 與 tail 當成獨立的本地 Qwen3-VL 文字或視覺模型，需要額外安裝 TextGen 節點。
cd ComfyUI/custom_nodes
git clone https://github.com/ethanfel/ComfyUI-H3-Qwen3VL-TextGen.git
cd ComfyUI-H3-Qwen3VL-TextGen
pip install -r requirements.txt 重新啟動 ComfyUI 後，使用 H3 Qwen VL Generation Tail Loader 和 H3 Qwen VL Generate Text 節點。如果出現 Missing Node Packs，先確認 ComfyUI 已更新，再確認自訂節點資料夾沒有多包一層 ZIP 目錄，最後使用 ComfyUI 自己的 Python 環境安裝 requirements。
Heretic 與解除限制模型的風險
Heretic 類模型會修改拒答行為，但不保證完全移除安全限制，也不保證品質不受影響，模型卡的測試是在 RTX 5090 32GB、特定 ComfyUI commit、PyTorch 2.8 與 CUDA 12.8 環境完成。不同顯示卡與套件版本可能出現完全不同的結果。
把拒答變少不代表產出的內容合法。人物肖像、聲音複製、品牌素材、成人內容和受版權保護的角色都有額外風險。建立公開或商業服務時，應保留內容審查、權限控制與人工確認，不要把解除限制當成跳過責任的工具。
MiniMax H3 提示詞怎麼寫
H3 的提示詞不是堆疊形容詞，而是建立一條可播放的時間軸，先交代整體風格與初始構圖，再依時間描述鏡頭、動作、對話、環境音與配樂，官方建議至少保留三個欄位。
integrated_multimodal_description:
[Shot 1] 真人電影風格，中景。雨夜的老街上，一名穿深色風衣的女子站在霓虹招牌下。攝影機以緩慢的小幅度向前推進。她抬頭看向街口，雨水沿著臉頰滑下。
[Shot 2] At 00:04.000, the camera cuts to a close-up。女子壓低聲音說：＜d＞[Chinese] 他終於來了。＜/d＞ 遠方車燈穿過雨霧，她握緊手中的信封。
overall_soundscape:
持續的雨聲、遠方車流、鞋底踩過積水的聲音。對話清楚，口型與發聲時間同步。
non_diegetic_music:
低沉的大提琴與稀疏鋼琴，緩慢節奏，在第二個鏡頭逐漸提高張力。 第一個鏡頭不需要時間標記。
第二個鏡頭開始使用明確時間，例如 00:04.000。
運鏡最好同時寫出類型、幅度與速度，例如 slow small-amplitude push in。
對話放在 d 標籤裡，並保留語言標記。
環境中真正存在的聲音放在 overall_soundscape，只有觀眾能聽見的配樂放在 non_diegetic_music。
圖生影片要先固定首幀中的人物、服裝、構圖、色彩和空間關係，再描述後續動作。首尾幀模式則要把中間變化寫清楚，不要只寫「從第一張變成第二張」。多參考模式要為每個素材分工，例如 Picture 1 負責人物外觀，Video 1 負責運鏡，Audio 1 負責音色。這類結構化提示詞也可以搭配 Codex 動態圖表與短影片工作流 自動產生。
授權限制一定要先看
MiniMax H3 主模型不是 Apache 2.0，而是 MiniMax H3 Community License，授權適用範圍排除歐盟、英國、韓國與美國，在這些地區部署需要另外聯絡 MiniMax 取得授權，商業產品年營收超過 2,000 萬美元，也需要事先取得書面授權。
商業產品介面還必須清楚顯示 MiniMax H3。授權也禁止用 H3 或其輸出改善其他非 H3 衍生模型。正式上線前應閱讀最新授權全文並取得法律意見，Qwen3-VL encoder 採 Apache 2.0，不代表整套 H3 工作流會自動變成 Apache 2.0。
我的判斷
MiniMax H3 的真正突破不是某一張畫面更漂亮，而是把角色、場景、鏡頭、對話、音效和音樂放進同一個生成過程，這讓本地 AI 影片從「抽一次卡看看」往可規劃的內容製作靠近。
它仍然是一套非常吃資源的系統。8GB 顯存只是能否啟動的最低挑戰，不是舒適規格，想先體驗的人，應從官方 ComfyUI 模板、4 秒、0.2MP 和單一參考圖開始。確認工作流有價值後，再投資記憶體、儲存空間與高解析度後製，Heretic 版本則只適合明白模型用途、授權與安全風險的人使用。
參考資料
FAQ
MiniMax H3 可以用 8GB 顯存執行嗎？
可以嘗試量化模型與 CPU offload，但要準備足夠的系統記憶體、虛擬記憶體和 NVMe 空間。建議從 0.2MP、4 秒短片開始，8GB 並不是官方保證的舒適規格。
MiniMax H3 本地可以直接產生 2K 嗎？
目前完整的 H3-Regenerate-2K 尚未開放。本地 H3-Base 主要輸出短邊 768px，官方 2K 品質仍需要搭配 API，或使用第三方放大與重繪工具。
Qwen3-VL Ultra Heretic H3 是 MiniMax H3 主模型嗎？
不是。它是 H3 使用的 Qwen3-VL 條件編碼器與 generation tail，負責提示詞理解和生成。真正產生影片的是 FL2VA 或 Ref2VA diffusion model。
MiniMax H3 可以商用嗎？
可以在授權適用地區依社群授權使用，但歐盟、英國、韓國與美國被排除。年營收超過 2,000 萬美元的商業產品需要事先取得書面授權，產品介面也要顯示 MiniMax H3。
ComfyUI 顯示 Missing Node Packs 怎麼辦？
先更新 ComfyUI，再確認自訂節點放在 custom_nodes 的第一層，並用 ComfyUI 自己的 Python 安裝 requirements。重新啟動後仍缺節點，再依節點名稱安裝對應的 node pack。
by Rain Chu 7 月 12, 2026 | 未分類
LongCat 1.5 最值得注意的地方是它把音訊驅動、人物一致性、長影片穩定性和 ComfyUI 工作流串在一起，讓數字人從單段 Demo 更接近可重複生產的內容流程。
美團開源的 LongCat-Video-Avatar 1.5 建立在 LongCat-Video 基礎模型之上，官方定位是 audio-driven human video generation，也就是用音訊、文字、圖片或既有影片去驅動人物生成。對內容創作者來說，關鍵不只是嘴型同步，而是能不能穩定做出比較長的數字人片段。
LongCat 1.5 解決的是什麼問題
過去很多數字人工具看起來很驚艷，但實際用在長片段時會遇到幾個老問題：嘴型不穩、人物身份漂移、動作重複、背景抖動、分段接不上，LongCat 1.5 的官方 model card 強調幾個方向：用 Whisper-Large 取代 Wav2Vec2 作為音訊編碼器，改善嘴型與語音動態，並強化長影片生成時的身份一致性和時間穩定性。
它支援的任務也不只一種，AT2V 是 Audio-Text-to-Video，適合用音訊和文字描述生成片段，ATI2V 是 Audio-Text-Image-to-Video，可以用參考圖片維持角色形象，Video Continuation 則比較接近延續既有影片，讓後續動作和語音繼續往下生成。
為什麼 RunningHub 工作流有用
LongCat 1.5 本身是模型，真正要變成創作者可用的工具，還需要工作流。這也是 RunningHub 和 ComfyUI 的價值所在。RunningHub 可以把複雜節點封裝成比較容易執行的流程，讓使用者不一定要在本機把所有依賴、模型、節點和顯卡環境都裝好。
如果你還不熟 RunningHub，可以先看我之前整理的 RunningHub 是什麼？把 ComfyUI 工作流變成 AI 內容生產平台 ，這次 LongCat 1.5 的重點就是把「單段生成」改成「循環工作流」，讓多段音訊和多段片段可以自動往下跑，不必每 4 秒就手動複製節點、改連線、重新拼接。
循環工作流的核心概念
實作數字人長片段時，最麻煩的往往不是單次生成，而是分段，假設每段產生 4 秒，20 秒就需要 5 段，30 秒就需要更多段。如果每一段都手動複製節點和連線，工作流會變得又長又難維護。
比較合理的做法是讓工作流自動按時間切段，再把每段送進 LongCat 1.5 生成。這裡有幾個重要參數：
音訊起始時間：決定從第幾秒開始讀音訊。
生成時長：決定每段處理幾秒，實務上可以略大一點，避免音訊尾端被切掉。
幀率：要和模型採樣規則配合。
尺寸：工作流裡常見長邊 1024，也可以提高，但成本會上升。
參考圖和 prompt：決定人物外觀、場景、動作與一致性。
其中「4n+1」這個規則很重要。如果秒數乘上幀率後不是符合模型要求的幀數，採樣器可能直接報錯，好的工作流會用數學節點自動修正幀數，避免使用者每次手算。
設備需求怎麼看
很多人第一個問題會是：本機能不能跑？答案要拆開看，官方安裝方式需要 Python 3.10、CUDA 版 PyTorch、FlashAttention、ffmpeg、librosa 和模型權重。這代表如果要本地完整跑起來，最好有 NVIDIA GPU 和足夠顯存，不然體驗會很痛苦。
RunningHub 的思路則是把算力放到雲端，說明欄提到可以在 RTX 4090 上運行，這對一般創作者比較友好，因為你不用先處理 CUDA、依賴衝突和顯存不足。缺點是需要依平台計費，還要注意素材隱私和商用內容的授權風險。
如果你對本地 AI 影片工作流有興趣，可以對照 OpenMontage 本地部署實測 。如果你的重點是語音和角色互動，也可以延伸看 Hugging Face speech-to-speech 本地即時語音 Agent ，思路都會回到同一件事：模型、音訊、工作流和算力要一起設計。
提示詞要寫得比想像中更細
LongCat 1.5 官方也提醒，長而具體的 prompt 通常比短句更穩。不要只寫「一位女生在說話」。更好的寫法是把人物外觀、動作、服裝、表情、場景都寫清楚，例如：一位長黑髮女性，穿白色襯衫，坐在明亮咖啡館裡，微笑並自然說話。
如果要做商用級數字人，我會把 prompt 拆成四層：
角色：年齡、髮型、服裝、表情、姿態。
場景：室內或戶外、光線、背景、鏡頭距離。
動作：說話、微笑、點頭、手勢、是否走路。
限制：不要誇張表情、不要手部變形、不要背景閃爍、不要換臉。
如果你還需要語音來源，可以搭配 Qwen3-TTS 這類音色設計工具 ，先把聲音品質穩住，再進入數字人生成。音訊不好，嘴型同步再強也很難救。
LongCat 1.5 適合誰
使用者 適合程度 原因 短影音創作者 高 可以把固定角色、音訊和場景變成批量內容。 電商和品牌團隊 高 可做商品介紹、導購、活動宣傳和多語版本。 本機 AI 玩家 中 模型開源，但完整環境和顯卡需求不低。 只想快速試效果的人 高 用 RunningHub 工作流比本地安裝更快。 企業敏感資料場景 中 要評估素材隱私、雲端上傳和合規問題。
如果只是做一張照片講話，過去已經有很多工具可以完成，例如我之前整理過的 Hallo AI 數字人 ，LongCat 1.5 更值得看的地方，是它開始處理更長、更穩、更可工作流化的數字人生成。
注意事項
第一，雲端工作流很方便，但素材上傳前要確認隱私。客戶聲音、真人肖像、商業腳本，都不應該隨便丟到不熟的平台裡。
第二，數字人看起來自然，不代表可直接商用。要確認聲音、人物肖像、參考圖、背景素材和平台條款，尤其是用真人形象時更要小心。
第三，循環工作流能提高效率，但也會放大錯誤。如果第一段人物已經歪掉，後面自動跑再多段也只是把錯誤放大。比較穩的做法是先做 4 到 8 秒測試，確認嘴型、動作和人物一致性，再放大到長片段。
最後
LongCat 1.5 代表數字人工作流正在從單點工具走向內容生產線。模型本身強調嘴型、長影片穩定和身份一致性，RunningHub 工作流則把操作門檻往下壓。對創作者來說，現在最重要的能力不是只會按生成，而是懂得設計音訊、角色、分段、幀率和工作流。
如果你想快速驗證，先用 RunningHub 工作流跑一段短音訊。如果要做可控的長片或商用內容，再回頭研究 ComfyUI 節點、官方 Hugging Face 權重和本地部署成本。這樣比較不會一開始就被環境和顯卡需求卡住。
FAQ
LongCat 1.5 是什麼？
LongCat 1.5 是美團開源的音訊驅動數字人模型，支援用音訊、文字、圖片或既有影片生成數字人片段。
LongCat 1.5 可以本地部署嗎？
可以，但官方安裝需要 CUDA 版 PyTorch、FlashAttention、ffmpeg、librosa 和模型權重，建議有 NVIDIA GPU 再嘗試。
為什麼幀率要注意 4n+1？
部分採樣流程要求輸入幀數符合特定規則，如果秒數乘幀率後不符合，採樣器可能報錯。工作流通常會用數學節點自動修正。
近期留言