by rainchu 12 月 19, 2024 | AI , 影片製作 , 語音合成 , 音樂
MMAudio 是一款開源的多模態影片轉音訊工具，透過多模態聯合訓練技術，可以將高品質的影片與音訊合成。該專案由伊利諾大學厄巴納-香檳分校、Sony AI 及 Sony 集團公司合作開發，適用於影片配音、虛擬角色語音等多媒體創作場景。
主要特色：
多模態聯合訓練： MMAudio 採用多模態聯合訓練方法，能夠同時處理影片和文字輸入，生成與內容同步的音訊。高品質音訊合成： 透過先進的模型架構，MMAudio 能夠生成高品質且自然的音訊，適用於各類應用場景。同步模組： MMAudio 的同步模組確保生成的音訊與影片畫面精確匹配，實現高度同步。
適用場景：
影片配音： 自動為無聲 影片生成對應的音訊，提升影片的可觀賞性。虛擬角色語音生成： 為虛擬角色生成符合其動作和表情的語音，增強互動性。多媒體內容創作： 協助創作者快速為視覺內容添加音訊，豐富作品表現力。
技術原理： MMAudio 基於深度學習技術，特別是神經網路，理解和生成音訊資料。模型能夠處理影片和文字輸入，透過深度學習網路提取特徵，進行音訊合成。在訓練時，模型考慮音訊、影片和文字資料，使生成的音訊能夠與影片和文字內容相匹配。透過同步模組，確保音訊輸出與影片畫面或文字描述的時間軸完全對應，實現同步。
使用方法： MMAudio 提供命令列介面和 Gradio 介面，使用者可以根據需求選擇使用。在命令列中，使用者可以透過指定影片路徑和文字提示，生成對應的音訊。Gradio 介面則提供了更友善的使用者介面，支援影片到音訊和文字到音訊的合成。
已知限制： 目前，MMAudio 存在以下限制：
有時會生成不清晰的語音或背景音樂。
對某些陌生概念的處理不夠理想。
相關資源：
by Rain Chu 5 月 30, 2024 | AI , 音樂
MusicGPT 可以讓使用者能夠在本地使用大型語言模型 (LLMs) 根據自然語言提示生成音樂的功能，他的重點放在文字條件音樂生成、旋律條件音樂生成以及生成無限長或無限音樂流的能力，今天要說明 MusicGPT 如何作為 Suno.ai 的開源替代方案，有甚麼樣的特色有甚麼樣的優缺點。
文字生成音樂
MusicGPT 的文字生成音樂，可以讓用戶輸入描述性文字或情感語言，然後在本地端的系統將其轉化為相應的音樂作品。這一功能對於想要通過音樂增強其敘事的作曲家和故事講述者特別有用，像是YT、小紅書、抖音，能夠完美匹配文本中描述的情緒或場景。無論是反映平靜月光夜的寧靜作品，還是回響著繁忙城市興奮感的活力曲目，MusicGPT 都能適應輸入文本的細微差別。
旋律生成音樂
旋律條件音樂生成將創新推向更深一步，允許用戶輸入特定旋律，MusicGPT 則以此為基礎生成完整的作品。這一功能非常適合那些有旋律想法但需要協助將其發展成完整作品的音樂家和作曲家。MusicGPT 不僅保留原始旋律，還增加了和聲、節奏和配器，提供豐富、飽滿的音樂體驗。
無限長音樂流
MusicGPT 最突破性的功能之一是其生成無限長的能力。這一功能對於遊戲背景音樂、冥想應用程序或公共場所的環境聲景等應用特別吸引人。與傳統的音樂曲目不同，MusicGPT 的作品可以根據需要持續進行，不斷演變而不重複。這創造了一個動態的聽覺環境，可以持續適應聽眾的需求或互動。
Suno.ai 的開源替代方案
MusicGPT 不僅在技術進步上脫穎而出，也因其作為開源解決方案的可訪問性而受到關注。與可能運行專有技術的平台如 Suno.ai 不同，MusicGPT 提供了一種透明、可定制的方法。用戶可以在自己的系統上本地運行它，利用大型語言模型的力量根據自然語言提示生成音樂。這不僅確保了創作過程的隱私和控制，也促進了以社群驅動的發展，其中改進和變化可以由全球用戶共享和實施。
參考資料：
MusicGPT官網：https://www.music-gpt.xyz
原始碼連結：https://github.com/gabotechs/MusicGPT
by Rain Chu 2 月 22, 2024 | AI , 影片製作 , 音樂
Kaiber.ai 是一款專注於二次元動漫和卡通風格的 AI 驅動視頻創作工具，這個平台的主要特色在於它能夠讓用戶輕鬆地創造出充滿二次元風格的影片，透過先進的 AI 技術，Kaiber.ai 為動漫愛好者和創作者提供了一個簡單且直觀的方式來生成具有獨特視覺風格的視頻內容。這款工具特別適合那些對動漫和卡通有特殊情感的用戶，希望在他們的視頻製作中加入這種獨特風格。更多有關 Kaiber.ai 的詳細信息，可以訪問它的官方網站 了解。
主要功能
音樂創作 Audioreactivity
動畫製作 Animation
圖片畫風轉換 Transform
分鏡製作 Storyboard
支援平台
App Store、 Google Play、 WEB
延伸閱讀
by Rain Chu 2 月 6, 2024 | AI , 音樂
Mubert 是一個利用人工智能技術創造音樂的創新平台。它結合了對音樂創作的傳統理解和現代技術的創新應用，打開了音樂製作的新領域。Mubert 的核心理念是通過算法生成音樂，使音樂創作變得更加易於訪問和個性化。
首先，Mubert 的人工智能技術可以根據用戶的喜好和需求生成音樂。這種個性化的方法意味著每一位用戶都能得到獨特的音樂體驗，這在傳統音樂創作中是難以實現的。用戶可以指定音樂的風格、節奏、調性等，Mubert 的算法則會根據這些參數創造出相應的音樂。
其次，Mubert 開放了音樂創作的門檻。傳統的音樂製作需要專業知識和技能，而Mubert 使得沒有音樂背景的人也能創作音樂。這不僅促進了音樂的普及化，也為非專業音樂愛好者提供了表達自己的新途徑。
除此之外，Mubert 也被廣泛應用於商業領域。例如，在零售店、餐廳或活動中，可以利用Mubert生成符合特定氛圍的背景音樂。這種定制化的背景音樂有助於提升顧客體驗，並能根據不同場合和時間調整音樂風格。
簡單來說就兩種方法快速生成
文字生成音樂
選擇 My generated tracks ，然後在 prompt 中輸入文字
三個選擇產生音樂
Genres
在音樂領域中，”選擇 Genres” 指的是選擇音樂的風格或類型。音樂的風格（Genre）是對不同音樂類型的分類方式，它基於音樂的節奏、調性、儀器使用、作曲方式、歷史背景和文化影響等因素。
例如，一些常見的音樂風格包括：
搖滾（Rock）
爵士（Jazz）
古典（Classical）
電子（Electronic）
鄉村（Country）
嘻哈（Hip-Hop）
流行（Pop）
Moods
在音樂領域中，「Moods」（情緒）是指音樂所傳達的情感和氛圍。音樂的情緒是指作品所表現的感覺或情感狀態，它可以通過旋律、和聲、節奏和音色等元素來表達。不同的音樂情緒可以激發聽眾的不同情感反應，這是音樂表現力的重要組成部分。
例如，一些常見的音樂情緒包括：
快樂或愉悅（Happy or Joyful）
悲傷或憂鬱（Sad or Melancholic）
平靜或放鬆（Calm or Relaxing）
興奮或激動（Exciting or Energetic）
神秘或懸疑（Mysterious or Suspenseful）
浪漫或愛情（Romantic or Loving）
Activities
在音樂領域中，”Activities”（活動）指的是音樂與特定類型的活動或場景相結合的情況。不同類型的音樂適合不同的活動或場合，音樂的選擇可以根據活動的性質、氛圍、參與者的心情和需求來進行。
例如，一些與特定活動相關聯的音樂類型包括：
運動或健身時的音樂：通常是節奏快、激勵人心的音樂，幫助提升運動時的動力和精神狀態。
學習或工作時的音樂：往往是節奏較慢、較為平靜的音樂，有助於集中注意力和提高效率。
放鬆或冥想時的音樂：這類音樂通常柔和、平緩，有助於放鬆心情和身體，適合冥想或休息時聆聽。
派對或社交活動的音樂：這種音樂通常是節奏強烈、易於跳舞的，能夠營造歡快的氣氛。
睡前或安眠音樂：這類音樂通常非常平靜、輕柔，有助於放鬆和進入睡眠狀態。
就這樣，很簡單，需要商用的時候，就繳個 Pro 月租費
延伸閱讀
by Rain Chu 10 月 9, 2023 | AI , Tool , 圖型處理 , 影片製作 , 繪圖 , 音樂
當我們談論數位藝術和影片製作，通常的過程很複雜且耗時。但現在，有了Artflow AI ，一切都變得如此簡單和迅速。這是一個強大的平台，集成了各種工具，使用者能從簡單的想法迅速轉換到完整的影片或圖像。以下是一些核心功能的深入探討。
影像生成系統 ：Artflow AI 透過其先進的影像生成系統，能夠從基本的描述或提示快速製作出令人驚艷的藝術品。不再需要專業的繪圖技巧或花費時間學習複雜的軟件。影片編輯系統 ：除了單一的圖像，Artflow AI 也提供了影片編輯功能，允許使用者編輯和製作高品質的影片內容。故事編輯系統 ：透過這個系統，用戶可以編排和策劃整個故事情節，確保內容的流暢性和吸引力。頭像生成系統 ：想要一個獨特和個性化的頭像嗎？這個功能允許使用者創建專屬的頭像，展現真實或想像中的自己。
新功能亮點 ：
成為自己奇幻故事中的英雄 ：現在你可以在圖片或影片中可視化自己，成為自己夢想中的主角。訓練你的數位演員 ：只需10張圖片，就能訓練出屬於你的數位角色。免費訓練機會 ：Starter 和 Pro 用戶都能獲得一次免費的訓練。Artflow v2 ：更高的解析度和質量，讓每一部作品都更出色。免費混音Video Studio項目 ：Pro用戶現在可以免費混音新的Video Studio項目。動畫你的角色 ：只需一鍵，就可以將角色從畫廊轉到Video Studio！
總的來說，Artflow AI是每個創作者夢寐以求的工具。從圖像生成到影片編輯，它提供了一個綜合的解決方案，使內容創作更加快速和簡單。
同場加映用來做兒童繪本的方法
VIDEO
延伸閱讀
by Rain Chu 10 月 9, 2023 | AI , 音樂
AI技術如今已不再是遙不可及的高科技，而是生活中不可或缺的一部分。
Boomy AI 作為音樂領域的AI新星，近期讓全球震撼。成立僅兩年的Boomy AI，其強大的技術已讓它躍升為音樂界的焦點。
最近，該平台上出現的一首名為〈Heart on My Sleeve〉的歌曲更是引起了廣大關注。該曲的演唱聲音，竟然是經由AI學習著名歌手Drake和Weeknd的音色後所產生的。這首歌在TikTok上的點擊率驚人，累積了高達1,500萬次的觀看次數，而在其他多個平台上也吸引了數十萬次的點擊量。
這一巨大成功，讓Boomy的技術獲得了更多的認可和關注。該平台不僅允許用戶選擇音樂風格，用AI生成歌曲，還提供了上架及轉發到TikTok、Twitch等社交平台的服務。
令人驚訝的是，Boomy宣稱，其平台上的歌曲數量已超過1,400萬首，這已經占到了全球已錄制音樂的13.83%。
儘管Boomy擁有全部歌曲的版權，但使用者卻可以獲得高達80%的版權分配費用。這使得無數音樂愛好者和專業音樂人都被吸引到這個平台上來。然而，這也意味著像Spotify這樣的傳統音樂平台，正在面臨前所未有的競爭。
延伸閱讀
近期留言