Select Page

CodeFormer 教學:一鍵去除照片馬賽克,恢復人臉細節

CodeFormer 是由南洋理工大學 S-Lab 的研究人員開發的一款先進人工智慧工具,專注於人臉修復和增強。它利用代碼查找變壓器(Codebook Lookup Transformer)技術,能夠有效地修復模糊、老舊或受損的人臉圖像,甚至在嚴重退化的情況下,也能生成高品質且真實的面部圖像。

主要特點:

  • 高品質人臉修復: CodeFormer 能夠自動修復模糊或失真的人臉圖像,恢復細節並提升整體畫質。
  • 靈活的保真度調節: 用戶可以通過調整保真度參數,在畫質和真實度之間取得平衡,滿足不同需求。
  • 背景增強: 結合 Real-ESRGAN 技術,CodeFormer 不僅能修復人臉,還能增強背景部分的清晰度。
  • 支援影片處理:不僅只能處理照片,也可以直接處理影片

安裝方法:

安裝條件

  • Pytorch >= 1.7.1
  • CUDA >= 10.1

安裝步驟

# git clone this repository
git clone https://github.com/sczhou/CodeFormer
cd CodeFormer

# 官方建議 create new anaconda env
# 我用的是 python 3.11
conda create -n codeformer python=3.8 -y
conda activate codeformer

# install python dependencies
pip3 install -r requirements.txt

# 需要可視化的介面的可以加下面的命令
pip install -q gradio

python basicsr/setup.py develop

# only for face detection or cropping with dlib
conda install -c conda-forge dlib

※dlib是更心的人臉偵測器,可以找出更準確的人臉

安裝訓練模型

安裝官方兩個預先訓練好的模型

python scripts/download_pretrained_models.py CodeFormer

# only for dlib face detector
python scripts/download_pretrained_models.py dlib

需要使用影片增強要安裝 ffmpeg

# For Windows/Mac users, please install ffmpeg first
conda install -c conda-forge ffmpeg

使用方法:

OpenXLab 以及 Huggingface 直接使用

臉部修復

# 黑白照片適用
# For cropped and aligned faces (512x512)
# Colorize black and white or faded photo
python inference_colorization.py --input_path [image folder]|[image path]

# 臉部修復專用
# For cropped and aligned faces (512x512)
# Inputs could be masked by white brush using an image editing app (e.g., Photoshop) 
# (check out the examples in inputs/masked_faces)
python inference_inpainting.py --input_path [image folder]|[image path]

影像增強

# Add '--bg_upsampler realesrgan' to enhance the background regions with Real-ESRGAN
# Add '--face_upsample' to further upsample restorated face with Real-ESRGAN
python inference_codeformer.py -w 0.7 --input_path [image folder]|[image path]

影片增強

# For video clips
# Video path should end with '.mp4'|'.mov'|'.avi'
python inference_codeformer.py --bg_upsampler realesrgan --face_upsample -w 1.0 --input_path 

訓練模型的方法:

https://github.com/sczhou/CodeFormer/blob/master/docs/train.md

應用場景:

  • 老照片修復: 將老舊或受損的照片進行數位化修復,恢復其原有風采。
  • 模糊照片清晰化: 提升低解析度或模糊照片的清晰度,使細節更加突出。
  • AI 生成圖像優化: 對 AI 生成但存在瑕疵的人臉圖像進行修復,提升其真實感。

參考資訊:

img.ly:創意設計與影像編輯的強大工具

img.ly:創意設計與影像編輯的強大工具

img.ly 是一個專為設計、影像編輯和整合工具需求而打造的平台,有支援RD的各種SDK和API,能幫助用戶輕鬆創建高品質的影像內容,並支援各種應用場景的開發需求

什麼是 img.ly?

img.ly 是一家專注於設計與影像編輯解決方案的科技公司,他們提供 API 和 SDK 服務,協助 RD 們將影像編輯功能直接整合到自己的應用程式或網站中。無論是建立圖片編輯器、社群媒體應用、行動遊戲,甚至是專業設計軟體。

其主要產品包括:

  1. PhotoEditor SDK:功能強大的照片編輯工具,支援剪裁、濾鏡、文字覆蓋、筆刷、調整顏色等多種影像處理功能。
  2. VideoEditor SDK:讓開發者為用戶提供簡單易用的影片編輯功能,包括剪輯、特效、濾鏡、文字添加等。
  3. Design Editor:一個強大的設計平台,類似 Canva,幫助用戶快速製作出海報、名片、社群圖片等設計。

img.ly 的特色功能

  1. 高度可客製化
    • 開發者可以根據需求調整編輯工具的外觀和功能,例如自訂顏色主題、添加專屬素材庫,甚至修改界面布局,讓用戶體驗更符合品牌形象。
  2. 跨平台支援
    • img.ly 的 SDK 支援多種開發環境,包括 Web、iOS 和 Android,並與主流框架如 React、Angular、Vue.js 相容,實現無縫整合。
  3. AI 智能編輯
    • img.ly 結合了人工智慧技術,能夠自動識別影像內容並提供智能建議,例如背景移除、自動調整濾鏡效果等,節省用戶的操作時間。
  4. 專業級性能
    • SDK 以高效的設計為基礎,能快速處理大型影像文件且不損失品質,適合需要精細控制的專業級設計需求。
  5. 商業授權與支援
    • img.ly 提供靈活的商業授權模式,適合各種規模的企業。客戶還可獲得專業的技術支援,確保產品整合順利進行。

適用的應用場景

img.ly 的工具應用於:

  • 列印功能:支援進階的列印功能選項,像我最近的專案就需要控制進階列印選項,像是控制列印邊界,調整大小等
  • 社交媒體平台:用戶可以在應用內編輯照片和影片,創造吸引人的內容。
  • 電商平台:提供商品圖片快速修飾或廣告素材製作工具。
  • 教育領域:幫助學生進行多媒體創作,激發創造力。
  • 遊戲開發:嵌入角色設計或遊戲場景編輯功能。

相關資訊

YOLOv10: 新一代目標檢測模型的創新進展

YOLO系列自從其首次推出以來,已經成為深度學習領域中目標檢測技術的代表之一。最新版本的YOLOv10在速度與精度上均有顯著的提升,其核心創新點主要集中在以下幾個方面:

核心創新點

  1. 一對多分配(One to Many Assignment):此機制允許每個標記框在訓練過程中對應多個預測框,這樣可以增強模型對於目標位置的學習能力,並提高其泛化性。
  2. 非極大值抑制(Non-maximum Suppression):進一步優化了這一傳統技術,以減少重複檢測並提升檢測的準確率。
  3. 一致的雙重分配策略:這種新策略確保了在對不同尺寸的目標進行預測時,分配的一致性和效率,進一步提升了模型的精確度和響應速度。
  4. 提升回歸頭的權重與效能:通過增加回歸頭(負責目標定位)的權重,YOLOv10對目標的位置和尺寸估計更為精確,進一步提升了整體的檢測性能。
  5. 對特徵圖的空間和通道維度進行降採樣:這一技術有助於減少計算量,同時保持模型對重要特徵的捕捉能力,從而提高了運行效率。
  6. 低秩補全(Low-Rank Completion):這一新技術的加入,旨在減少模型中冗餘的計算,使模型在保持高精度的同時,運行更加高效。

參考資料

論文出處

GitHub 項目

使用方法

可以參考 YT 的影片,但主要還是用 github 中的方法比較好用

相關文章

比肩 FLUX!Ideogram 讓 AI 圖片生成更寫實、更個性化

比肩 FLUX!Ideogram 讓 AI 圖片生成更寫實、更個性化

在數位創作領域,最近正在火 FLUX 1,但 AI 生成圖片新創不斷推成出新,而 Ideogram 則是近期受到矚目的服務之一。這項服務讓使用者可以通過簡單的文字輸入來生成高質量的圖片,並且在效果和功能上都有其獨特的優勢。

Ideogram 的五大特色

  1. 優秀的效果媲美 FLUX Ideogram 的圖片生成效果可說與 FLUX.1 不相上下,能夠呈現高水準的圖像品質和細膩的細節,無論是自然場景還是具象物件,細節的處理都相當到位。
  2. 每日免費點數讓創作無限 Ideogram 每日提供使用者免費點數,大約可以生成五組圖片,這讓初次嘗試的使用者可以免費體驗其服務,且不必擔心每次生成都需要付費。這樣的彈性也吸引了許多創作者持續回訪。
  3. 比 FLUX 更寫實的圖片品質 與目前其他 AI 圖像生成服務(如 FLUX)相比,Ideogram 能夠生成更加寫實的圖片。這點對於需要精緻細節的設計師或品牌來說尤其重要,能夠符合更多商業與創作需求。
  4. 精準的文字輸出能力 一大特色是 Ideogram 能夠正確地在圖片中嵌入文字。這對於需要文字設計或標語的創作尤其實用。過往許多 AI 圖像生成工具常常會錯誤呈現文字,但 Ideogram 則解決了這個困擾,讓使用者能更精確地輸出文字圖像。
  5. 自訂色調控制 Ideogram 提供色盤工具,允許使用者控制生成圖片的色調,使整體風格更具一致性。無論是偏愛溫暖、冷色或復古的色彩效果,都能輕鬆調整,這在多數 AI 圖像生成平台中是少見的功能,尤其適合想要精確調色的設計需求。

極真實的圖片生成

可以看到下圖,現在生成的人物,可以說是完全無法辨識是否為真人還是AI,這邊的模型也沒限制你明星是不能當作提示詞,所以你可以盡情想像和發揮,但有肖像權的問題時還是不建議商用

價目表

這個費用比起主流的服務也相對的有誠意,如果用起來滿意,是真的可以考慮買一下的

咒語示範

A photo of a 20-year-old Chinese model with brown hair. She is smiling and wearing a navy blue fitted t-shirt. She is standing at a convention center, surrounded by a crowd of people. The background contains a large stage with a banner that reads “Welcome to the International Fashion Convention”.

A smiling 20-year old China model with brown hair

如有興趣,可直接訪問他們的官方網站了解更多:Ideogram 官方網站

參考資料

Deep Live Cam-簡單易用,被遮擋也沒關係的即時換臉

Deep Live Cam-簡單易用,被遮擋也沒關係的即時換臉

用有多張臉,即時更換人臉的開源軟體,而且有綠色直接使用版本,已經幫忙把環境都打包好了,給懶人使用,支援windows、MAC、GPU

必要條件

Git 原始碼

https://github.com/hacksider/Deep-Live-Cam.git

下載模型

  1. GFPGANv1.4
  2. inswapper_128.onnx (Note: Use this replacement version if an issue occurs on your computer)

並且將這兩個檔案放在 models 的目錄下

安裝相關依賴

pip install -r requirements.txt

參考資料

https://github.com/hacksider/Deep-Live-Cam

AI手寫文字服務網站介紹-Calligrapher

AI手寫文字服務網站介紹-Calligrapher

沒想到AI也可以替你簽名吧?人工智能(AI)已經滲透到我們日常生活的各個方面,其中一項創新應用就是AI手寫文字服務。這類服務提供一個獨特的平台,讓用戶能夠將標準的打字文字轉換成具有個人風格的手寫文字,每一次生成的結果都是獨一無二的。

以下是這類網站的主要功能特色:

1. 個性化手寫生成

用戶只需提供需要轉換的文字,AI系統便能根據預設的或是自訂的手寫樣式,生成具有個人特色的手寫文字圖檔。這種服務特別適合需要在數位媒體上展現個人風格的使用者,例如藝術家、設計師或是市場行銷人員。

2. 多樣化的風格選擇

用戶可以選擇不同的手寫風格,從而使生成的文字展現出多樣的視覺效果。這些風格可能包括但不限於古典書法、現代潦草筆跡或是具有特定情感表達的筆觸。

3. 高解析度圖檔下載

一旦文字被AI轉換成手寫風格,用戶便可以以多種格式下載這些圖檔,例如PNG、JPG或SVG等。這些高解析度的圖檔適合用於各種印刷和數位出版需求。

4. 獨特性與創造性的表現

每次生成的手寫文字都是唯一的,這不僅讓每一份文件都帶有獨特的個人觸感,也增添了文件的創造性和藝術價值。

5. 簡便的使用流程

大多數AI手寫文字網站都設計有用戶友好的界面,使得從文字輸入到圖檔下載的整個過程既快速又簡便。用戶無需擁有專業的設計技能,就可以輕鬆操作並獲得高質量的結果。

https://www.calligrapher.ai

延伸閱讀