Select Page
Open-Sora:開源的 11B 參數 AI 影片生成工具,無需等待 Sora

Open-Sora:開源的 11B 參數 AI 影片生成工具,無需等待 Sora

Views: 20

Open-Sora 這個 GitHub 專案,提供類似於 OpenAI 的 Sora 的影片生成模型,讓更多人能夠高效地製作高品質影片,無需再等待 Sora 的推出。

Open-Sora 的主要特色

1. 11B 參數模型

Open-Sora 採用了擁有 110 億參數的大型模型架構,這使其在影片生成的質量和細節上達到業界領先水平。​與其他需要大量資源的模型相比,Open-Sora 以較低的成本實現了高品質的影片生成。 ​

2. 基於 PyTorch 和 xFormers

該專案基於 PyTorch 框架開發,並結合了 xFormers 技術,這使得模型在計算效率和資源利用上有顯著提升。​開發者可以利用這些技術,進行更高效的模型訓練和推理。​

3. 支援本地運行

Open-Sora 支援在本地環境中運行,使用者可以在自己的設備上部署和運行模型,這不僅提高了資料的私密性,還減少了對外部伺服器的依賴。​這對於需要處理敏感資料的使用者尤為重要。​

如何開始使用 Open-Sora

  1. 獲取程式碼:​前往 Open-Sora 的 GitHub 儲存庫,克隆或下載最新的程式碼。
  2. 安裝依賴項:​確保您的環境中已安裝 PyTorch,並根據專案需求安裝其他必要的 Python 套件。​
  3. 配置環境:​根據官方文件,配置您的運行環境,包括設定模型參數和路徑。​
  4. 運行模型:​按照指導,運行模型並生成影片。您可以根據需要調整輸入參數,以獲得不同的影片效果。
探索 Wan 2.1:阿里巴巴推出的高效 AI 影片生成模型,融入哪吒等東方元素

探索 Wan 2.1:阿里巴巴推出的高效 AI 影片生成模型,融入哪吒等東方元素

Views: 11

探索阿里巴巴開源的 AI 影片製作模型:Wan 2.1

阿里巴巴近期推出的開源影片生成模型——Wan 2.1,為創作者提供了一個強大且高效的工具。​該模型不僅完全開源,還具備極快的生成速度,並融入了豐富的東方元素,如哪吒等,為影片創作帶來了新的可能性。​

Wan 2.1 的主要特色

完全開源,兼容性強

Wan 2.1 採用 Apache 2.0 協議開源,這意味著開發者可以自由地使用、修改和分發該模型,甚至用於商業用途。​此外,Wan 2.1 支援 ComfyUI 等圖形介面,方便用戶進行可視化操作,降低了技術門檻。​

高效的影片生成速度

得益於先進的架構設計,Wan 2.1 在影片生成速度上表現優異。​即使在消費級 GPU 上,如 RTX 3070 顯卡,使用 1.3B 參數模型即可流暢運行,生成 480P 分辨率的影片,更何況現在已經來到了RTX 5090,​這將讓個人也能夠在本地設備上高效地進行影片創作。​

豐富的東方元素融入

Wan 2.1 在影片生成中融入了大量的東方元素,特別是中國傳統文化中的角色和場景。​例如,模型能夠生成包含哪吒等經典角色的影片,這為喜愛東方文化的創作者提供了更多的創作靈感和素材。​

如何離線使用 Wan 2.1 進行影片創作

  1. 環境準備:​首先,確保您的電腦具備足夠的硬體資源,建議使用至少 12GB 顯存的顯卡。​
  2. 下載模型:​從官方 GitHub 倉庫或 HuggingFace 平台下載 Wan 2.1 的模型檔案。​
  3. 安裝依賴:​根據官方指引,安裝所需的 Python 套件和其他依賴項。​
  4. 運行 ComfyUI:​啟動 ComfyUI,載入 Wan 2.1 模型,並按照介面提示輸入文本或上傳圖片,以生成對應的影片內容。
  5. ​下載 ComfyUI 工作流 : JSON

參考資料

https://www.freedidi.com/18705.html

如何使用 Magnific 實現高品質的圖片風格轉換​

如何使用 Magnific 實現高品質的圖片風格轉換​

Views: 10

探索 Magnific 的圖片風格遷移功能

風格遷移(Style Transfer)是現在AI圖學中的一項創新技術,讓我們能夠將一張圖片的風格應用到另一張圖片上,創造出獨特且富有創意的視覺效果。​Magnific 作為一款先進的 AI 圖像處理工具,近期推出了風格遷移功能,為用戶提供了更多元的創作可能性。​

什麼是風格遷移?

風格遷移是一種基於卷積神經網絡(CNN)的技術,通過優化目標圖像,使其在內容上接近原始圖像,在風格上接近參考圖像,從而實現風格的遷移。​這意味著,我們可以將一幅畫的藝術風格應用到一張照片上,或是將某種設計風格融入到現有的圖像中,創造出全新的視覺效果。​

Magnific 的風格遷移功能特色

Magnific 的風格遷移功能在保留原圖結構的同時,成功地將參考圖的風格融入其中。​這使得生成的圖像既保持了原始內容的清晰度,又展現了新的風格特徵。​

主要參數解讀

  1. Style Strength(風格強度):​控制風格遷移的程度。建議初次使用時設置在 95% 左右,以最大程度地遷移參考圖的風格。​
  2. Structure Strength(結構強度):​決定保留原圖結構的程度。建議設置在 85% 以上,最好是 100%,以確保輸入圖像的線條和輪廓得以保留。​
  3. Portrait(肖像模式):​處理肖像時,務必啟用此選項。​
    • Portrait Style(肖像風格):​可根據個人喜好選擇「標準」、「流行」或「超流行」。​
    • Enhance(增強):​若希望面部特徵更為明顯,可啟用此選項,但可能會導致相似度略有下降。​
  4. Fixed Generation(固定生成):​啟用後,使用相同的設置(如提示詞、風格強度等)生成的圖像將始終相同。此功能主要用於模型微調和測試。​
  5. Engine(引擎):​建議選擇 Balanced(平衡)模式,效果均衡美觀,細節豐富。Real(真實)和 Super Real(超真實)適合生成寫實風格。​
  6. Flavor(風味):​若希望生成的圖片風格更接近參考圖,可選擇 Faithful。若希望色彩更豐富、藝術感更強,可選擇 GenZ 或 Psychedelia。​

如何使用 Magnific 的風格遷移功能

  1. 上傳圖像:​在 Magnific 的界面中,分別上傳要編輯的圖像和風格參考圖。​
  2. 設置參數:​切換到風格遷移功能,填寫提示詞,並根據需要設置上述參數。​
  3. 生成圖像:​點擊「Generate」按鈕,等待片刻,Magnific 即會生成一張融合了兩張圖片特徵的新圖像。​
  4. 放大與修復:​最後,可使用 Upscale 功能放大圖像並修復一些細節,特別是面部細節。​

Magnific 與 Midjourney 的比較

Magnific 的風格遷移功能與 Midjourney 的風格參考功能在算法上有所不同,導致了二者的差異。​Midjourney 主要使用擴散模型(Diffusion Model),通過噪聲逐步擴散和去噪的過程來生成圖像。​然而,這種方法對原始圖片的結構保留得並不好,生成的圖像往往在構圖和形狀上與原圖差異較大。​而 Magnific 使用的是風格遷移技術,通過優化目標圖像,使其在內容上接近原始圖像,在風格上接近參考圖像,從而實現風格的遷移。​在這個過程中,原始圖像的結構信息可以得到較好的保留。​

Magnific 的風格遷移功能為用戶提供了一個強大且靈活的工具,能夠在保持原圖結構的同時,實現風格的創意轉換。​無論是設計師、攝影師,還是普通用戶,都可以利用這項功能。

使用Pollo AI的強大功能,快速生成專業級特效影片

使用Pollo AI的強大功能,快速生成專業級特效影片

Views: 57

Pollo AI 可以讓用戶從文字提示、圖片或現有影片中創建超高品質的影片,支援多種影片風格,從真實的電影場景到富有想像力的動畫,滿足不同的創作需求。其快速的影片生成演算法,讓用戶能在短短幾分鐘內獲得高清、專業級的影片輸出,此外,Pollo AI還提供多樣的模板,如AI擁抱影片生成器,方便用戶輕鬆創作溫馨感人的影片

Pollo AI homepage,文字生圖

影片特效

支援 40多種 AI 影片特效,使得任何事物或人物都能在影片中“活”起來,例如

擠壓特效:讓照片中的主體如同麵團或橡皮泥般被擠壓變形,呈現出趣味十足的動態效果,適合在社交媒體上分享。

膨脹特效:使物體、人物或動物如氣球般膨脹,隨後飄走或爆裂,創作出搞笑短片,流暢自然的動畫效果有望成為病毒式影片。

爆炸特效:讓畫面中的主體以誇張且滑稽的方式“炸裂”,天馬行空的創意為觀眾帶來歡樂。

融化特效:將靜態圖像轉化為動態影片,讓畫面中的主體如巧克力般慢慢融化,效果逼真,只需簡單的三步操作即可完成。

Pollo AI 特效以及影片樣版庫

首尾偵功能

Pollo AI還引入了首尾偵功能,使影片的開頭和結尾更加引人注目。用戶可以選擇多種動畫效果,為影片增添專業的開場和結尾,提升整體質感。這項功能特別適合用於宣傳影片、教學影片或任何需要強調開頭和結尾的影片類型。

Pollo AI Image to Video 功能,首尾禎產影片功能

三張圖片合成功能

Pollo AI的三張圖片合成功能允許用戶上傳最多三張圖片,並生成一個角色或場景在影片中保持統一外觀的影片,這項功能確保影片中的角色或物體在每一幀中都保持一致的外觀和風格,適合需要連貫性角色動畫的影片創作。用戶可以上傳一至三張圖片,設定影片的長度、解析度和移動幅度,Pollo AI將自動生成符合要求的影片。

參考資訊

MMAudio:自動為影片生成同步音訊的開源解決方案

MMAudio:自動為影片生成同步音訊的開源解決方案

Views: 49

MMAudio 是一款開源的多模態影片轉音訊工具,透過多模態聯合訓練技術,可以將高品質的影片與音訊合成。該專案由伊利諾大學厄巴納-香檳分校、Sony AI 及 Sony 集團公司合作開發,適用於影片配音、虛擬角色語音等多媒體創作場景。

主要特色:

  • 多模態聯合訓練: MMAudio 採用多模態聯合訓練方法,能夠同時處理影片和文字輸入,生成與內容同步的音訊。
  • 高品質音訊合成: 透過先進的模型架構,MMAudio 能夠生成高品質且自然的音訊,適用於各類應用場景。
  • 同步模組: MMAudio 的同步模組確保生成的音訊與影片畫面精確匹配,實現高度同步。

適用場景:

  • 影片配音: 自動為無聲影片生成對應的音訊,提升影片的可觀賞性。
  • 虛擬角色語音生成: 為虛擬角色生成符合其動作和表情的語音,增強互動性。
  • 多媒體內容創作: 協助創作者快速為視覺內容添加音訊,豐富作品表現力。

技術原理:

MMAudio 基於深度學習技術,特別是神經網路,理解和生成音訊資料。模型能夠處理影片和文字輸入,透過深度學習網路提取特徵,進行音訊合成。在訓練時,模型考慮音訊、影片和文字資料,使生成的音訊能夠與影片和文字內容相匹配。透過同步模組,確保音訊輸出與影片畫面或文字描述的時間軸完全對應,實現同步。

使用方法:

MMAudio 提供命令列介面和 Gradio 介面,使用者可以根據需求選擇使用。在命令列中,使用者可以透過指定影片路徑和文字提示,生成對應的音訊。Gradio 介面則提供了更友善的使用者介面,支援影片到音訊和文字到音訊的合成。

已知限制:

目前,MMAudio 存在以下限制:

  • 有時會生成不清晰的語音或背景音樂。
  • 對某些陌生概念的處理不夠理想。

相關資源: