照片、相片、2D影像轉換成3D模型

by Rain Chu | 5 月 5, 2023 | 圖型處理, 繪圖

3D Scanner是個很昂貴且複雜難使用的工具，隨著現在算法的精進，AI的流行，各式各樣的工具不斷的出現，早期我還有買一個專用的3D掃描器，現在發現我用手機拍的照片，用AI轉換比我用專業工具掃描的還方便且快速，並且已是用了不少網站服務，是用了不少網站服務，多數還是要費用且還不好用，但 Nvidia 不愧是AI的王者，推出好用且免費還開放原始碼的 NeRF ，入門還算簡單，看下面兩個影片就夠了。

Instant NeRF

下載請到 NVlabs/instant-ngp: Instant neural graphics primitives: lightning fast NeRF and more (github.com)

如果你是 Windows 系統，可以依照下圖，找到適合自己GPU的可執行檔

如果不是的話，就要自己 git 後按照步驟安裝，我自己安裝起來是還蠻麻煩的，建議是找台 Windows 會比較快

PIFuHD

專門用在人物轉3D模型的開源軟體，主要是 FB AI Research 在維護

PIFuHD: Multi-Level Pixel-Aligned Implicit Function for High-Resolution 3D Human Digitization (shunsukesaito.github.io)

PIFuHD Demo – Colaboratory (google.com)

Meshroom 2023

更開放且進階的 Meshroom 3D 建模軟體

Github 原始碼

alicevision/Meshroom: 3D Reconstruction Software (github.com)

直接下載執行檔

Releases · alicevision/Meshroom (github.com)

ZoeDepht

ZoeDepth可以找出圖片中的深度圖，也可以一鍵建立3D模型以及一鍵建立360的圖片，蠻適合用在室內設計的場景中

ZoeDepth – a Hugging Face Space by shariqfarooq

Kaedim3d

Kaedim | 3D models in minutes (kaedim3d.com)

付費軟體，優點是容易使用，專門在產生一些小物件，尤其是可以給遊戲使用

https://www.app.kaedim3d.com/

參考資料

Turn 2D Images into Immersive 3D Scenes with NVIDIA Instant NeRF in VR | NVIDIA Technical Blog

即時NeRF贏得SIGGRAPH最佳論文，激勵創作者 |英偉達博客 (nvidia.com)

Getting Started with NVIDIA Instant NeRFs | NVIDIA Technical Blog

Knight Rider Rides a GAN with AI, NVIDIA Omniverse | NVIDIA Blog

NVIDIA 發表 GANcraft ，可將 Minecraft 地圖轉化為 3A 遊戲等級場景 #我的世界 (173603) – Cool3c