LongCat 1.5 最值得注意的地方是它把音訊驅動、人物一致性、長影片穩定性和 ComfyUI 工作流串在一起,讓數字人從單段 Demo 更接近可重複生產的內容流程。
美團開源的 LongCat-Video-Avatar 1.5 建立在 LongCat-Video 基礎模型之上,官方定位是 audio-driven human video generation,也就是用音訊、文字、圖片或既有影片去驅動人物生成。對內容創作者來說,關鍵不只是嘴型同步,而是能不能穩定做出比較長的數字人片段。
內容目錄
LongCat 1.5 解決的是什麼問題
過去很多數字人工具看起來很驚艷,但實際用在長片段時會遇到幾個老問題:嘴型不穩、人物身份漂移、動作重複、背景抖動、分段接不上,LongCat 1.5 的官方 model card 強調幾個方向:用 Whisper-Large 取代 Wav2Vec2 作為音訊編碼器,改善嘴型與語音動態,並強化長影片生成時的身份一致性和時間穩定性。
它支援的任務也不只一種,AT2V 是 Audio-Text-to-Video,適合用音訊和文字描述生成片段,ATI2V 是 Audio-Text-Image-to-Video,可以用參考圖片維持角色形象,Video Continuation 則比較接近延續既有影片,讓後續動作和語音繼續往下生成。
為什麼 RunningHub 工作流有用
LongCat 1.5 本身是模型,真正要變成創作者可用的工具,還需要工作流。這也是 RunningHub 和 ComfyUI 的價值所在。RunningHub 可以把複雜節點封裝成比較容易執行的流程,讓使用者不一定要在本機把所有依賴、模型、節點和顯卡環境都裝好。
如果你還不熟 RunningHub,可以先看我之前整理的 RunningHub 是什麼?把 ComfyUI 工作流變成 AI 內容生產平台,這次 LongCat 1.5 的重點就是把「單段生成」改成「循環工作流」,讓多段音訊和多段片段可以自動往下跑,不必每 4 秒就手動複製節點、改連線、重新拼接。
循環工作流的核心概念
實作數字人長片段時,最麻煩的往往不是單次生成,而是分段,假設每段產生 4 秒,20 秒就需要 5 段,30 秒就需要更多段。如果每一段都手動複製節點和連線,工作流會變得又長又難維護。
比較合理的做法是讓工作流自動按時間切段,再把每段送進 LongCat 1.5 生成。這裡有幾個重要參數:
- 音訊起始時間:決定從第幾秒開始讀音訊。
- 生成時長:決定每段處理幾秒,實務上可以略大一點,避免音訊尾端被切掉。
- 幀率:要和模型採樣規則配合。
- 尺寸:工作流裡常見長邊 1024,也可以提高,但成本會上升。
- 參考圖和 prompt:決定人物外觀、場景、動作與一致性。
其中「4n+1」這個規則很重要。如果秒數乘上幀率後不是符合模型要求的幀數,採樣器可能直接報錯,好的工作流會用數學節點自動修正幀數,避免使用者每次手算。
設備需求怎麼看
很多人第一個問題會是:本機能不能跑?答案要拆開看,官方安裝方式需要 Python 3.10、CUDA 版 PyTorch、FlashAttention、ffmpeg、librosa 和模型權重。這代表如果要本地完整跑起來,最好有 NVIDIA GPU 和足夠顯存,不然體驗會很痛苦。
RunningHub 的思路則是把算力放到雲端,說明欄提到可以在 RTX 4090 上運行,這對一般創作者比較友好,因為你不用先處理 CUDA、依賴衝突和顯存不足。缺點是需要依平台計費,還要注意素材隱私和商用內容的授權風險。
如果你對本地 AI 影片工作流有興趣,可以對照 OpenMontage 本地部署實測。如果你的重點是語音和角色互動,也可以延伸看 Hugging Face speech-to-speech 本地即時語音 Agent,思路都會回到同一件事:模型、音訊、工作流和算力要一起設計。
提示詞要寫得比想像中更細
LongCat 1.5 官方也提醒,長而具體的 prompt 通常比短句更穩。不要只寫「一位女生在說話」。更好的寫法是把人物外觀、動作、服裝、表情、場景都寫清楚,例如:一位長黑髮女性,穿白色襯衫,坐在明亮咖啡館裡,微笑並自然說話。
如果要做商用級數字人,我會把 prompt 拆成四層:
- 角色:年齡、髮型、服裝、表情、姿態。
- 場景:室內或戶外、光線、背景、鏡頭距離。
- 動作:說話、微笑、點頭、手勢、是否走路。
- 限制:不要誇張表情、不要手部變形、不要背景閃爍、不要換臉。
如果你還需要語音來源,可以搭配 Qwen3-TTS 這類音色設計工具,先把聲音品質穩住,再進入數字人生成。音訊不好,嘴型同步再強也很難救。
LongCat 1.5 適合誰
| 使用者 | 適合程度 | 原因 |
|---|---|---|
| 短影音創作者 | 高 | 可以把固定角色、音訊和場景變成批量內容。 |
| 電商和品牌團隊 | 高 | 可做商品介紹、導購、活動宣傳和多語版本。 |
| 本機 AI 玩家 | 中 | 模型開源,但完整環境和顯卡需求不低。 |
| 只想快速試效果的人 | 高 | 用 RunningHub 工作流比本地安裝更快。 |
| 企業敏感資料場景 | 中 | 要評估素材隱私、雲端上傳和合規問題。 |
如果只是做一張照片講話,過去已經有很多工具可以完成,例如我之前整理過的 Hallo AI 數字人,LongCat 1.5 更值得看的地方,是它開始處理更長、更穩、更可工作流化的數字人生成。
注意事項
第一,雲端工作流很方便,但素材上傳前要確認隱私。客戶聲音、真人肖像、商業腳本,都不應該隨便丟到不熟的平台裡。
第二,數字人看起來自然,不代表可直接商用。要確認聲音、人物肖像、參考圖、背景素材和平台條款,尤其是用真人形象時更要小心。
第三,循環工作流能提高效率,但也會放大錯誤。如果第一段人物已經歪掉,後面自動跑再多段也只是把錯誤放大。比較穩的做法是先做 4 到 8 秒測試,確認嘴型、動作和人物一致性,再放大到長片段。
最後
LongCat 1.5 代表數字人工作流正在從單點工具走向內容生產線。模型本身強調嘴型、長影片穩定和身份一致性,RunningHub 工作流則把操作門檻往下壓。對創作者來說,現在最重要的能力不是只會按生成,而是懂得設計音訊、角色、分段、幀率和工作流。
如果你想快速驗證,先用 RunningHub 工作流跑一段短音訊。如果要做可控的長片或商用內容,再回頭研究 ComfyUI 節點、官方 Hugging Face 權重和本地部署成本。這樣比較不會一開始就被環境和顯卡需求卡住。
FAQ
LongCat 1.5 是什麼?
LongCat 1.5 是美團開源的音訊驅動數字人模型,支援用音訊、文字、圖片或既有影片生成數字人片段。
LongCat 1.5 可以本地部署嗎?
可以,但官方安裝需要 CUDA 版 PyTorch、FlashAttention、ffmpeg、librosa 和模型權重,建議有 NVIDIA GPU 再嘗試。
為什麼幀率要注意 4n+1?
部分採樣流程要求輸入幀數符合特定規則,如果秒數乘幀率後不符合,採樣器可能報錯。工作流通常會用數學節點自動修正。
近期留言