by Rain Chu 9 月 2, 2024 | 3D , AI
Views: 35
想要一鍵生成自己人頭的3D模型，已經有很多好用的工具，但這次所提供的 Unique3D 還是讓人驚艷，能夠從單一視角圖像高效地生成高品質的 3D 網格。這個框架使用了最新的生成保真度技術和強大的泛化能力。傳統的基於 Score Distillation Sampling（SDS）的方法能夠從大型 2D 擴散模型中提取 3D 知識來生成多樣化的 3D 結果，但這些方法通常需要長時間的個案優化，且結果常有不一致的問題。
最近的研究通過微調多視角擴散模型或訓練快速的前向模型來解決這一問題，生成了更好的 3D 結果。然而，這些方法在紋理和複雜幾何形狀的生成上仍存在不一致性和解析度限制。為了同時實現高保真度、一致性和效率，Unique3D 提出了一個包括多視角擴散模型和對應的標準擴散模型的框架，用於生成多視角圖像及其法線圖，並通過多級放大過程逐步提高生成的正交多視角圖像的解析度。
此外，Unique3D 還引入了一個稱為 ISOMER 的即時且一致的網格重建算法，該算法充分整合了顏色和幾何先驗知識到網格結果中，讓Unique3D 在幾何和紋理細節方面顯著優於其他圖像到 3D 的基線方法。
參考資料
利用 Blender 合成3D模型 – 雨 (rain.tips)
教學影片：AI能在2分钟就建成人像浮雕3D模型，简直太快了！赶快学起来 (youtube.com)
AiuniAI/Unique3D: Official implementation of Unique3D: High-Quality and Efficient 3D Mesh Generation from a Single Image (github.com)
直接上傳圖片到 Unique3D – a Hugging Face Space by Wuvin 取得對應的3D模型
可以上傳網址的官網Aiuni
論文[2405.20343] Unique3D: High-Quality and Efficient 3D Mesh Generation from a Single Image (arxiv.org)
加入Aiuni的 Discord 取的認證碼
by Rain Chu 9 月 2, 2024 | CG
Views: 16
在做產品的時候，常常會有需要將現在的3D模型融合在一個實際照片中，通常這張照片是一個實際的場景，當然現在多數人用AI的方法合成，但AI需要嘗試多次，並且不可控，真的要實現完美的場景還是需要3D繪圖軟體，如Blender的介入才行
fSpy 找出透視圖的xyz
利用現有 HDRI 找出正確的環境光源
為了物體打上光源
設計出3D物件的地板反射和陰影
利用算圖以及合成的小技巧，算出完美的圖像
參考資料以及資源下載
fSpy
Poly Haven
HDRIs • Poly Haven
手把手教你如何用Blender合成3D模型與照片！ (youtube.com)
by Rain Chu 8 月 2, 2024 | AI , 語音辨識
Views: 350
這裡整理了自己試過可以使用的語音指令，當然一定還有很多指令我沒試出來，有試過的可以分享給我，我也會陸續增刪
音樂相關
播放藍芽音樂
暫停音樂
停止播放
停掉音樂
上一首歌
下一首歌
切換音樂來源成USB
切換音樂來源
打開廣播
啟動廣播
調到FM91.7
上一個頻道
上一個電台
切換下一個電台
播放下一個電台
暫停收音機
播放收音機
把電台加入我的收藏
把電台從我的收藏裡刪除
從收藏中移除電台
降低音量
音量調高
音量靜音
取消靜音
導航指令
系統控制類型
打開藍芽
關閉藍芽
增加螢幕亮度
設定螢幕亮度為最高
降低螢幕亮度
開啟頭燈
關上大燈
打開360度攝像機
關閉360度攝像頭
門窗控制
打開窗戶
窗戶開一半
關閉窗戶
車窗開四分之一
開一點車窗
解鎖車門
解鎖後門
鎖上車門
鎖上後面的門
詢問資訊
剩餘里程?
電池還有多少電?
胎壓是多少?
我能開多遠?
現在幾點?
今天幾號?
我的駕駛模式是?
通訊方法
空調控制
打開冷氣
冷氣調到25度
關閉冷氣
加大冷氣的風量
減少冷氣的風量
冷氣風量設置為5
TURING 用 Stable Diffusion 畫 EV 概念車 – 雨 (rain.tips)
by Rain Chu 7 月 2, 2024 | 談判
Views: 1
從前，有一個村莊裡住著兩位餅師傅，A師傅和B師傅。他們的手藝都十分高超，但各有所長。A師傅能夠獨自一人創造出1等分的餅，而B師傅則能夠獨自一人創造出2等分的餅。他們發現，如果合作，則能創造出9等分的餅。
Barry Nalebuff | Split The Pie: A Radical New Way to Negotiate | Talks at Google (youtube.com)
有一天，村長請他們來製作一個9等分的餅，並要求他們公平地分配這個餅。A師傅和B師傅開始思考，如何分配才是公平的。
首先，他們考慮各自的貢獻。A師傅獨自可以製作1等分的餅，而B師傅可以製作2等分的餅。這意味著，A師傅的能力是B師傅的1/2，B師傅的能力是A師傅的2倍。
但如果他們合作，能夠製作9等分的餅，那麼在沒有合作的情況下，他們可以製作的餅總數是1 + 2 = 3等分。因此，合作所創造的額外價值是9 – 3 = 6等分。
為了公平分配，他們決定根據各自的貢獻來分配這6等分的額外價值。
一般人覺得
A師傅的貢獻是1等分，佔總貢獻的1/3，而B師傅的貢獻是2等分，佔總貢獻的2/3。因此，A師傅應該得到這6等分中的1/3，而B師傅應該得到2/3。
這樣，A師傅應該得到2等分（即6 * 1/3），B師傅應該得到4等分（即6 * 2/3）。加上各自本來能製作的餅，A師傅總共應該得到1 + 2 = 3等分，B師傅總共應該得到2 + 4 = 6等分。
會談判的新創
會談判的新創，應該要分平兩者合作帶來的6等分，也就是A師傅應該要拿 1+ 3 = 4等分，B師傅應該要拿 2+3 = 5等分。這樣的分配考慮了各自的能力，也體現了合作的價值，雙方都感到非常滿意。
用台幣一百元創業？別讓一百元限制了你的想像！ – 雨 (rain.tips)
by Rain Chu 6 月 27, 2024 | AI , 人臉辨識 , 影片製作 , 語音合成
Views: 119
主要功能介紹：
語音動畫同步 ：用戶只需上傳一張照片及一段WAV格式的英語語音，Hallo AI就能使照片中的人物按語音內容進行動作，包括說話和唱歌。動作自然流暢 ：結合精確的面部識別和動作捕捉技術，保證人物動作的自然流暢，令人印象深刻。
技術框架：
音頻處理 ：使用Kim_Vocal_2 MDX-Net的vocal removal模型分離語音。面部分析 ：透過insightface進行2D和3D的臉部分析。面部標記 ：利用mediapipe的面部檢測和mesh模型進行精確標記。動作模組 ：AnimateDiff的動作模組為動作生成提供支持。影像生成 ：StableDiffusion V1.5和sd-vae-ft-mse模型協同工作，用於生成和調整圖像細節。聲音向量化 ：Facebook的wav2vec模型將WAV音頻轉換為向量數據。
安裝方法
盡量採用 Linux 平台，我這邊測試成功的有 Ubuntu 20 WSL 版本，就可以簡單三個步驟，部過前提要記得先安裝好 WSL CUDA 支援
1.建立虛擬環境
conda create -n hallo python=3.10
conda activate hallo 2.安裝相關的依賴
pip install -r requirements.txt
pip install . 3.要有 ffmpeg 支援
4.測試與驗證
python scripts/inference.py --source_image examples/reference_images/1.jpg --driving_audio examples/driving_audios/1.wav 最近更新：
在🤗Huggingface空間克隆了一個Gradio演示。
新增Windows版本、ComfyUI界面、WebUI和Docker模板。
參考資料
Hallo GitHub
Hallo Model
大神開發的Windows介面
Hallo 線上版本
Hallo Docker版
影片跳舞合成
近期留言