Select Page
Tensor.art 綜述:AI 驅動的免費圖像生成平台

Tensor.art 綜述:AI 驅動的免費圖像生成平台

Tensor.art 是一個 AI 的免費線上圖像生成平台,用穩定擴散模型(SD, Stable Diffusion)來生成圖片,用戶可以透過選擇不同的檢查點(模型)和細節調整元素(LURAs)來生成圖像,這些工具允許用戶調整生成圖像的細節和風格,Tensor.art 每天都提供用戶一定數量的免費信用額,一般使用者已經很夠用

技術方面

Tensor.art 提供多種圖像生成選項,包括基於文本的圖像生成和圖像到圖像的轉換。用戶可以通過上傳參考圖像和相應的文本提示來精確控制生成的圖像類型和風格​。此外,平台還支持使用控制網格(Control Net)進一步細調圖像的外觀,以及高解析度修正工具來解決非標準長寬比圖像生成時可能出現的問題​。

Tensor.art 的界面友善,適合各種經驗水平的用戶。新手可以利用預設的模型和設置快速開始,而經驗豐富的創作者則可以探索更多高級功能,如自定義種子、詳細程度調整和不同的取樣方法,這些功能提供了豐富的視覺特性和個性化選項​。

參考資料

Hallo AI:讓照片動起來,結合語音技術的革命性數字人類

Hallo AI:讓照片動起來,結合語音技術的革命性數字人類


Fusion Lab 又有新款力作,Hallo AI 可以讓用戶僅需提供一張照片和一段語音,就能讓照片中的人物進行說話、唱歌甚至進行動作,為數字內容創作帶來了革命性的突破。

hallo framework

主要功能介紹:

  • 語音動畫同步:用戶只需上傳一張照片及一段WAV格式的英語語音,Hallo AI就能使照片中的人物按語音內容進行動作,包括說話和唱歌。
  • 動作自然流暢:結合精確的面部識別和動作捕捉技術,保證人物動作的自然流暢,令人印象深刻。

技術框架:

  • 音頻處理:使用Kim_Vocal_2 MDX-Net的vocal removal模型分離語音。
  • 面部分析:透過insightface進行2D和3D的臉部分析。
  • 面部標記:利用mediapipe的面部檢測和mesh模型進行精確標記。
  • 動作模組:AnimateDiff的動作模組為動作生成提供支持。
  • 影像生成:StableDiffusion V1.5和sd-vae-ft-mse模型協同工作,用於生成和調整圖像細節。
  • 聲音向量化:Facebook的wav2vec模型將WAV音頻轉換為向量數據。

安裝方法

盡量採用 Linux 平台,我這邊測試成功的有 Ubuntu 20 WSL 版本,就可以簡單三個步驟,部過前提要記得先安裝好 WSL CUDA 支援

1.建立虛擬環境

  conda create -n hallo python=3.10
  conda activate hallo

2.安裝相關的依賴

  pip install -r requirements.txt
  pip install .

3.要有 ffmpeg 支援

  apt-get install ffmpeg

4.測試與驗證

python scripts/inference.py --source_image examples/reference_images/1.jpg --driving_audio examples/driving_audios/1.wav

最近更新:

  • 在🤗Huggingface空間克隆了一個Gradio演示。
  • 新增Windows版本、ComfyUI界面、WebUI和Docker模板。

參考資料

Hallo GitHub

Hallo Model

大神開發的Windows介面

Hallo 線上版本

Hallo Docker版

影片跳舞合成

探索Getimg.ai:創建商業級圖像和個性化AI模型

探索Getimg.ai:創建商業級圖像和個性化AI模型

在當今數位化世界中,人工智慧(AI)技術正日益成為藝術和設計領域的一個重要驅動力。

其中一個引人矚目的工具就是Getimg.ai,這是一個提供多種圖像生成和修改功能的平台。

在本文中,我們將深入探討Getimg.ai的核心功能和用例,以及如何開始使用這個令人驚嘆的工具,同時回答一些常見的問題。

Getimg.ai的核心功能

1. 用圖生圖

Getimg.ai的一個令人印象深刻的功能是,它允許您使用圖像生成更多圖像。這意味著您可以將現有圖像作為基礎,快速生成相似或有趣的變體,無需繼續訓練模型。

2. 無需練模,使用SD

相對於需要冗長的模型訓練過程,Getimg.ai讓您無需練模,即刻使用。這省去了大量時間和資源,讓您可以專注於創作,而不是等待模型訓練完成。

3. 融合Leonardo功能

Leonardo是Getimg.ai的一個強大元素,它提供了更多創作選項。您可以融合Leonardo的功能,使您的圖像生成更具藝術性和創意。

4. 輕鬆用ControlNet控制圖片

Getimg.ai引入了ControlNet,這讓您能夠更精確地控制圖片的生成過程。無論您是調整色彩、樣式還是其他參數,ControlNet使您可以實現完全個性化的圖像生成。

Getimg.ai的用例

  • 藝術創作: 藝術家可以利用Getimg.ai來快速生成藝術品的變體,並探索新的創作方向。
  • 設計項目: 設計師可以使用Getimg.ai來生成設計項目所需的圖像,節省時間並提高效率。
  • 動畫製作: 動畫製作者可以使用Getimg.ai生成動畫素材,增添動畫項目的視覺吸引力。
  • 建築概念: 建築師可以利用Getimg.ai創建建築概念圖,幫助客戶更好地理解他們的項目。
  • 商業項目: 您可以將Getimg.ai生成的圖像用於商業項目,但請牢記CreativeML Open RAIL-M許可證的適用性。

常見問題

– 我可以將生成的圖像用於商業項目嗎?

是的,您可以商業用途使用生成的圖像。但請注意,CreativeML Open RAIL-M許可證適用於創建的圖像。

– 如何生成美麗的圖像?

大多數情況下,簡單的提示可能不足以獲得優秀的結果。但是,寫出好的提示是可以學習的。您可以開始閱讀OpenArt提示手冊,以瞭解如何編寫有效的提示。

– Getimg.ai真的免費嗎?

是的,它是免費的。您每個月可以免費生成100張圖像,只需創建一個帳戶。此外,您還可以通過引薦朋友和追隨者來獲得更多的積分。

延伸閱讀

AI 繪圖的未來在於拖拉?從拖拉到完美-DragGAN 的精確圖像生成

AI 繪圖的未來在於拖拉?從拖拉到完美-DragGAN 的精確圖像生成

對於許多大學生和初學者來說,深度學習和生成對抗網路 (GANs) 可能聽起來相當複雜。但當你了解 DragGAN 這種技術後,你會發現其所帶來的便利性和革新性是非常令人興奮的。

1. 什麼是 DragGAN?

DragGAN 是一種新型的 GAN 技術,讓用戶可以直接與圖像進行互動,即時地“拖曳”圖像上的任意點,以實現精確的控制。換句話說,你可以透過 DragGAN 修改圖像的姿勢、形狀、表情和佈局,從而創造出符合自己需求的視覺內容。

2. 為什麼 DragGAN 如此革命性?

傳統的 GAN 方法通常需要手動標註的數據或先前的3D模型來實現控制,這樣的方式往往缺乏靈活性、精確性和通用性。而 DragGAN 則為用戶提供了一個直觀且高度互動的方法,使他們能夠實現更精確的圖像控制。

3. DragGAN 的主要組件

DragGAN 包括兩個主要組件:

  • 特徵基礎的運動監督:使圖像上的手柄點移向目標位置。
  • 新型的點追踪方法:利用 GAN 的判別特徵來持續定位手柄點的位置。

4. DragGAN 的優勢

使用 DragGAN,用戶可以對圖像進行變形,並精確控制像素的移動方向。由於這些操作都是在 GAN 學習的生成圖像流形上進行的,因此即使在複雜的情況下,如想像遮擋的內容或變形的形狀,它也傾向於產生真實的輸出。

5. DragGAN 與真實世界的互動

不僅如此,DragGAN 還可以通過 GAN 反轉技術操作真實的圖像,從而擴展了其在實際應用中的可能性。

Drag Your GAN 發表

https://vcai.mpi-inf.mpg.de/projects/DragGAN/

論文出處

https://arxiv.org/pdf/2305.10973.pdf

GitHub

https://github.com/XingangPan/DragGAN

https://github.com/OpenGVLab/DragGAN

YT介紹

延伸閱讀