by Rain Chu | 6 月 27, 2024 | AI, 人臉辨識, 影片製作, 語音合成
Views: 119
Fusion Lab 又有新款力作，Hallo AI 可以讓用戶僅需提供一張照片和一段語音，就能讓照片中的人物進行說話、唱歌甚至進行動作，為數字內容創作帶來了革命性的突破。
主要功能介紹：
- 語音動畫同步：用戶只需上傳一張照片及一段WAV格式的英語語音，Hallo AI就能使照片中的人物按語音內容進行動作，包括說話和唱歌。
- 動作自然流暢：結合精確的面部識別和動作捕捉技術，保證人物動作的自然流暢，令人印象深刻。
技術框架：
- 音頻處理：使用Kim_Vocal_2 MDX-Net的vocal removal模型分離語音。
- 面部分析：透過insightface進行2D和3D的臉部分析。
- 面部標記：利用mediapipe的面部檢測和mesh模型進行精確標記。
- 動作模組：AnimateDiff的動作模組為動作生成提供支持。
- 影像生成：StableDiffusion V1.5和sd-vae-ft-mse模型協同工作，用於生成和調整圖像細節。
- 聲音向量化：Facebook的wav2vec模型將WAV音頻轉換為向量數據。
安裝方法
盡量採用 Linux 平台，我這邊測試成功的有 Ubuntu 20 WSL 版本，就可以簡單三個步驟，部過前提要記得先安裝好 WSL CUDA 支援
1.建立虛擬環境
conda create -n hallo python=3.10
conda activate hallo
2.安裝相關的依賴
pip install -r requirements.txt
pip install .
3.要有 ffmpeg 支援
4.測試與驗證
python scripts/inference.py --source_image examples/reference_images/1.jpg --driving_audio examples/driving_audios/1.wav
最近更新：
- 在🤗Huggingface空間克隆了一個Gradio演示。
- 新增Windows版本、ComfyUI界面、WebUI和Docker模板。
參考資料
Hallo GitHub
Hallo Model
大神開發的Windows介面
Hallo 線上版本
Hallo Docker版
影片跳舞合成
by Rain Chu | 6 月 21, 2024 | AI, 影片製作
Views: 7
Haiper AI 是一個超酷且利用AI來創作視頻內容的創新平台。由來自 Google DeepMind、TikTok 及其他頂尖研究機構的校友創建，Haiper 將尖端的機器學習技術與創意相結合，致力於為使用者提供簡單直觀且強大的視頻創作工具。
核心功能
文本生成視頻：
Haiper 提供文本生成視頻的功能，使用者只需輸入文本描述，就能創作出引人入勝的動畫視覺故事。這項功能讓視頻創作變得簡單且高效，即使是沒有專業技術背景的使用者也能輕鬆上手。
圖像生成視頻：
除了文本生成視頻外，Haiper 還能將靜態圖像轉化為動態視頻。使用者可以通過拖放圖像，並利用 AI 技術賦予這些圖像新的生命，使其變得生動有趣。
視頻重繪：
Haiper 的視頻重繪工具允許使用者輕鬆修改視頻中的顏色、紋理及元素。這項功能讓使用者能夠根據自己的需求對現有視頻進行重新創作，提升視頻的視覺效果和吸引力 。
創意社區與使用者友好
Haiper 不僅是一個視頻創作工具，更是一個鼓勵創意和分享的社區，可以一鍵快速的發布你的作品，平台強調用戶互動，收集用戶反饋來不斷改進和發展其 AI 模型，確保其能夠滿足多樣化的創意需求。Haiper 的使命是通過技術的力量來激發創造力，讓每一個人都能夠輕鬆地表達自己的創意 。
更多信息請訪問 Haiper 官方網站。
參考資料
by Rain Chu | 6 月 21, 2024 | AI, 影片製作
Views: 19
PixVerse是其中一個令人驚艷的AI工具，能夠簡化影片製作的流程，還能生成出超現實的效果。以下是PixVerse的一些亮點：
1. 超多寫實的電影場景
PixVerse 提供了一個豐富的電影場景庫，涵蓋了各種不同風格和題材的場景。無論是科幻未來城市還是古典歐洲城堡，使用者都可以輕鬆找到適合自己影片的背景。這些場景不僅僅是靜態圖片，而是經過精心設計和渲染的3D環境，能夠帶給觀眾身臨其境的視覺體驗。
2. 自由用遮罩控制需要運動的物件
在影片製作中，物件的運動和互動是至關重要的。PixVerse 讓使用者能夠通過遮罩技術，自由控制影片中各種物件的運動方向和速度。例如，在製作一部鯊魚主題的影片時，使用者可以使用遮罩來精確控制鯊魚的游泳方向，讓影片更加真實和生動。這種自由度讓影片製作變得更加靈活和創意十足。
3. 利用人物生成視頻功能
除了場景和物件運動，PixVerse 還具備利用人物生成視頻功能。使用者可以根據自己的需求，調整角色的外觀、動作和表情。這些角色不僅外觀真實，而且可以根據劇情需要做出自然的動作和反應。無論是需要一個動作明星還是日常生活中的普通人，PixVerse 都能夠快速生成，極大地節省了角色設計和建模的時間。
參考資料
https://pixverse.ai
by Rain Chu | 6 月 19, 2024 | AI, Prompt
Views: 8
作為中文使用者，我覺得「文心一言」，所幫忙整理的 Prompt 百寶箱，「一言百寶箱」，可以先幫助我由上而下，由大方向先去思考我要如何開始下我的 Prompt ，並且提供了很多我需要會的技巧
參考資訊
https://yiyan.baidu.com
by Rain Chu | 6 月 19, 2024 | AI, Prompt
Views: 24
Anthropic 是目前市場上最強大、最實用的 Prompt 設計工具，深深地受到百萬年薪的 Prompt 工程師們喜愛，這款工具不僅提供了豐富的功能，簡潔的介面，還具備高度的靈活性，使得 Prompt 設計變得更加高效和精確，並且很強大。
Anthropic 的主要功能
Anthropic 具備多種功能，以下是其中一些最受歡迎的功能：
- 智能推薦：Anthropic 可以根據用戶輸入的初始 Prompt，你不用真的很會，但就可以自動生成多個優化版本，供用戶選擇和修改。
- 上下文理解：工具能夠理解輸入的上下文，並提供更精確和相關的建議，幫助用戶創建更符合需求的 Prompt。
- 多語言支持：Anthropic 支持多種語言的 Prompt 設計，無論你是使用英語、中文還是其他語言，都能夠輕鬆應對。
- Prompt 資料庫：透過 Prompt Library 可以協助你想像和學習 Prompt 工程，Anthropic 可以加快 Prompt 創建過程。
實際案例
案例一：內容創作
一家內容創作公司需要生成大量的文章摘要。透過 Anthropic，內容創作者能夠快速生成高質量的文章摘要，但是平常妳下達的指令只會是：
請你提供我關於文章的5個具有創意的標題
但你透過 Anthropic ，他會幫你擴展成
你是一個專業的記者，我將提供一段專業的文案給你參考，你需要按照這個文案的風格，創作出5個具有創意的標題
以下是參考的文案內容 <content> {{CONTENT}} </content>
請按照以下的步驟創作標題
1.仔細閱讀文案內容
2.找出可以抓住眼球和注意力的主題和亮點
3.標題要簡潔且有力在20個字內
4.選出5個最佳方案
是不是變的強大了很多，也專業很多，這也代表你變成一個很懂AI的老闆了
使用技巧
- 充分利用智能推薦：在設計初期，充分利用 Anthropic 的智能推薦功能，快速生成多個可行的 Prompt 範本，然後根據具體需求進行細化。
- 多次迭代：不要期望一次性完成完美的 Prompt，多次迭代和調整是關鍵。每次修改後都可以使用工具的建議來進一步優化。
- 結合上下文：在設計 Prompt 時，充分考慮上下文因素，使得生成的內容更加連貫和自然。Anthropic 的上下文理解功能在這方面大有幫助。
- 多語言測試：如果需要設計多語言的 Prompt，建議在不同語言環境下進行測試和調整，確保每個語言版本的質量和效果一致。
注意事項
工具很強大，是可以付費支持，並且讓自己的生活更美好的，他現在要使用是需要點數的，強烈建議可以試試
參考資料
Anthropic Console
by Rain Chu | 6 月 17, 2024 | AI, 影片製作
Views: 4
Luma AI – Dream Machine則是其中一個令人矚目的新星。這個平台具有多項吸引人的特點，尤其適合需要高品質視頻內容的創作者，我們來針對我發現的特色做分析
每天免費點數：
Luma AI Dream Machine提供了一個用戶友好的特點，即每天都有免費點數供用戶使用。這使得即使是預算有限的用戶也能夠探索平台的功能並製作高質量的視頻。
文字及圖片轉化為影片：
這個平台能將您的文字描述和圖片轉化為引人入勝的視頻。無論您是想將一個故事、說明或是任何視覺內容轉換成視頻，Luma AI Dream Machine都能助您一臂之力。
高效且可擴展的Transformer模型：
Luma AIDream Machine採用的是一種高效且可擴展的Transformer模型，該模型直接通過影片進行訓練。這種訓練方式使得生成的視頻不僅遵守物理原則，而且場景連貫，富有事件性，極大地提高了視頻的自然度和觀賞性。
擅長人物動畫：
這個平台在人物動畫方面表現尤為出色。它能夠細緻地捕捉人物表情和動作，使得動畫人物行為自然，表情生動，非常適合需要複雜人物互動的劇情視頻。
日系卡通動畫表現強大：
對於喜愛日系卡通風格的用戶來說，Luma AI Dream Machine提供了強大的支持。平台可以生成風格鮮明、色彩豐富的日系卡通動畫，非常適合創作動漫類型的視頻內容。
參考資料
https://lumalabs.ai/dream-machine
近期留言