影片怎麼拍出來的?用 rea-video 拆解鏡頭、字幕與音效

看到一支節奏漂亮的商品短片,你可能想知道它是實拍、AI 生成,還是用程式做出來的。

rea-video可以把這個問題拆到每個鏡頭,再把字幕、配樂、音效和素材需求放回時間軸,整理出一份可以接著製作的報告。

我會把它放在影片製作前的分析與規劃階段,它能幫你理解參考片的結構,也能銜接部分重製流程,但完整成品仍取決於素材、模型、拍攝與後續驗收。先看懂每一層怎麼做,再決定哪些要保留、哪些換成自己的內容,這才是比較實用的用法。

rea-video 是什麼?從成片回推製作方式

rea-video 是提供給 AI Agent 使用的 Python 命令列工具,也附有操作流程,你可以在能執行命令與讀檔的 Agent 工作環境裡,交給它一支本機影片,請它拆解鏡頭、整理證據,再提出重製方案。

同一支片可能混用真人口播、AI 商品特寫、程式字卡與真實錄屏,因此逐鏡分類比替整支影片貼上一個標籤更有用。報告除了畫面來源,也會整理文字出現的位置、鏡頭切點、配樂節拍,以及哪些照片或錄屏要自己準備。

分析層報告想回答的問題你接下來要做的事
底層畫面這個鏡頭像是實拍、AI、動畫、程式渲染或錄屏?核對證據,選擇拍攝、生成或程式重建
字幕與包裝字幕、花字、貼紙在哪裡出現,何時結束?校對文字、字型、位置與入場節奏
聲音與剪輯人聲、音樂、音效如何配合畫面?回聽分軌,確認聲音來源與卡點
重製規劃需要哪些場景、參考圖和原始素材?準備自己的素材,先完成一小段測試

官方能力說明列出多種畫面與聲音分析項目,但每一項都應區分「量得到的訊號」和「模型推測的製作方式」。例如知道切點在哪裡,與確定原作者用了哪個生成模型,證據強度並不相同。

怎麼判斷?先量測,再由模型與人複核

基本工具會找切鏡、影格節奏、畫面噪聲、文字與影片中繼資料等線索。選配的 VLM,也就是能理解影像或影片的多模態模型,則補上角色、場景、動作與風格描述,最後交給 Agent 檢查衝突與低信心結果。

最大的變因是平台轉碼,同一支影片經過重新壓縮,原有噪聲和中繼資料可能改變,讓工具得到不同結果。缺少 AI 標記不能證明是實拍,畫面乾淨或動作流暢也不足以證明來源,官方也提醒,倉庫中的壓縮範例不一定能重現原始檔的判讀。

所以我不會把專案自己的評測結果直接換成「任何網路影片都能準確辨識」的保證。應把報告當成一組附有線索的判斷,逐項確認哪些已知、哪些待查。聲音來源、看不清的字型、被遮住的素材,都可以保留為待確認項目。

安裝 rea-video:先準備 Python 與 FFmpeg

官方要求 Python 3.10 以上,以及 FFmpeg 和 ffprobe。下面提供 Ubuntu 與 macOS 的命令,並使用獨立虛擬環境。它們是兩條安裝入口,依自己的作業系統執行對應的一段即可。

Ubuntu 安裝命令

sudo apt update
sudo apt install -y git ffmpeg python3 python3-venv python3-pip
python3 -c 'import sys; assert sys.version_info >= (3, 10), "Python 3.10+ required"'
mkdir -p "$HOME/AI"
cd "$HOME/AI"
git clone https://github.com/JuneYaooo/rea-video.git
cd rea-video
git checkout e00ecb0ebc8eb3f681b79b0cb39feacadb00f8d6
python3 -m venv .venv
source .venv/bin/activate
python -m pip install --upgrade pip
PYTHON_BIN="$VIRTUAL_ENV/bin/python" bash scripts/install_skill.sh
python -m pip check
rea-video --help
ffmpeg -version
ffprobe -version
git rev-parse HEAD

macOS 安裝命令

以下假設已安裝 Homebrew。指定 Homebrew 的 Python 路徑,可避免系統中另一個較舊的 python3 被優先使用。

brew install git ffmpeg [email protected]
mkdir -p "$HOME/AI"
cd "$HOME/AI"
git clone https://github.com/JuneYaooo/rea-video.git
cd rea-video
git checkout e00ecb0ebc8eb3f681b79b0cb39feacadb00f8d6
"$(brew --prefix [email protected])/bin/python3.12" -m venv .venv
source .venv/bin/activate
python -m pip install --upgrade pip
PYTHON_BIN="$VIRTUAL_ENV/bin/python" bash scripts/install_skill.sh
python -m pip check
rea-video --help
ffmpeg -version
ffprobe -version
git rev-parse HEAD

這裡固定到查核時的提交,Git 顯示 detached HEAD 屬於預期狀態。若資料夾已存在,先確認它是不是先前安裝的專案,再決定使用或另外命名,不要直接覆蓋。

官方安裝腳本會安裝 CLI 與 OCR 相依套件,並把操作流程連結到已存在的 Agent 目錄,例如 ~/.claude/skills、~/.codex/skills 與 ~/.agents/skills。因此這一步除了安裝 Python 套件,也會讓相關 Agent 找到 rea-video。

OCR 相依套件可能同時帶入另一套 OpenCV,與 headless 版本共用 cv2。腳本會處理這個衝突。如果你改成手動 pip 安裝,應照安裝與 VLM 設定文件處理,避免兩套互相覆蓋。也不用為了安裝而放寬系統 Python 的管理限制,保持在這個虛擬環境即可。

安裝完成先確認 pip check 沒有相依性錯誤,rea-video --help 能列出命令。這些只代表工具入口可用,下一步還需要用短片驗證報告能否完整產生。

先跑一支短片:取得報告與時間軸

準備一支自己有權使用的本機影片,放到 ~/Videos/reference.mp4。先使用不呼叫外部 VLM 的模式,讓問題集中在基本環境與檔案處理。每次開新的終端機,都先啟用剛才的虛擬環境。

cd "$HOME/AI/rea-video"
source .venv/bin/activate
rea-video memory
rea-video decompose "$HOME/Videos/reference.mp4" -o out/reference --no-vlm --lang zh
rea-video summary out/reference/breakdown.json

第一次執行可能需要下載聲音分離或 OCR 模型。所謂本地工具模式可離線,應理解成相依套件與模型都備妥後的處理方式,不能預期全新環境在沒有網路時就能完成初次安裝。

  • report.html:用瀏覽器開啟的完整報告。
  • report.md 與 breakdown.json:文字報告與結構化拆解結果。
  • storyboard.jpg 與 shots/:分鏡總覽與各鏡頭的參考畫面。
  • stems/:原聲、人聲與配樂分軌。
  • packaging/:字幕與花字等包裝資料,包含可供後續校對的 SRT、ASS 和時間軸。

先讀 summary 的緊湊摘要,再打開 HTML 看證據。JSON 可能很大,平常不必整份丟給 Agent 反覆讀。若某一類輸出不存在,先檢查是否跳過該功能、來源沒有相應內容,或某個處理步驟失敗。

字幕輸出也不是原始剪輯工程。OCR 可能讀錯字、漏字,字型辨認與動畫進出場仍要校對。它適合幫你重建結構,不能取代最後的人工作業。

卡片動效怎麼重做?先分析,再讓 Agent 寫前端

例如一段卡片滑入、翻轉、疊放的動畫,可能適合用前端技術重建。第一輪先把動效說清楚,暫時不要急著要成品,可以給 Agent 這樣的需求:

使用 rea-video 分析 ~/Videos/card-reference.mp4,
把結果寫到 outputs/card-reference。
請用繁體中文整理構圖、卡片位置、移動順序、轉場、文字與音效時間點。
區分已確認的證據和待確認項目,先完成分析報告。

先讀報告,確認動效確實適合用程式重建,再提出第二輪需求。這時是 Agent 依報告選擇渲染工具並寫程式,不能把後續產出全部算成 rea-video 本身的能力。

依 outputs/card-reference 的分析報告,
用前端技術重建這段卡片動效。
先提供能預覽的畫面,再安排輸出 MP4。
請對齊卡片移動、停留時間與轉場,文案改成我的內容。
參考片若有文字被裁掉,請修復文字顯示,並列出與參考不同的地方。

這裡有一個很實際的問題:參考素材的缺陷,也可能被原樣學走,如果你截取的片段把字裁掉,Agent 可能把那個缺口當成設計的一部分。送進分析前,先檢查畫面比例、裁切範圍與文字完整性,再明確交代哪些要忠實保留、哪些要修正。

想先熟悉輸出格式,可以從專案的 docs/cases/videos/ 範例開始。這些檔案適合體驗流程,但已經重新壓縮,不適合拿來宣稱一定會重現作者報告裡的所有比例與結論。

加入 VLM 前,先確認素材要送到哪裡

VLM 是選配。官方使用 OpenAI 相容介面設定服務端點、API Key 與模型名稱,會傳送鏡頭短片和關鍵影格供模型分析。選雲端服務時,先確認你願意把這些素材交給該服務,也要看清楚自己的計費方式。

在本機建立專用設定檔,例如 ~/.config/rea-video/provider.env,填入服務商實際提供的資料。下面只有欄位示意,不是可用金鑰或實際服務地址。

REA_VLM_BASE_URL=https://YOUR_PROVIDER/v1
REA_VLM_API_KEY=YOUR_API_KEY
REA_VLM_MODEL=YOUR_MULTIMODAL_MODEL
rea-video --env-file "$HOME/.config/rea-video/provider.env" decompose "$HOME/Videos/reference.mp4" -o out/reference-vlm --vlm --lang zh
rea-video summary out/reference-vlm/breakdown.json

關鍵是檢查摘要裡的 VLM: 狀態。ok 表示已生效,partial 是部分鏡頭有結果,failed 或 not_configured 則不能描述成「已完成 VLM 分析」。命令有加 --vlm,並不保證服務有成功回應。

API Key 留在本機設定檔,不要貼到對話、文章或 Git。另一方面,若讓雲端 Agent 直接看抽出的圖片來複核,這些圖片同樣會經過該 Agent 的服務。關閉工具自己的 VLM,不能推導出整條工作流程都完全離線。

複核比直接相信分類更重要

先看整體分鏡,再挑低信心或分類衝突的鏡頭,要讓能看圖的 Agent 把判斷寫回報告,可以用以下流程,中間必須真的檢查圖片並填寫答案,不能產生空白模板後就直接宣稱複核完成。

rea-video review out/reference
# 檢查 review_tasks.json 的任務與圖片
# 逐鏡填寫 review_answers.json,再執行下方命令
rea-video apply-review out/reference --by manual-review --lang zh
rea-video summary out/reference/breakdown.json

需要確認的通常有:同一個角色有沒有被拆成不同人、畫面中的螢幕是不是錄屏、動畫是否只是靜圖推拉、字幕是否其實畫在場景內,以及貼紙是不是後製疊加。聲音也要回聽分軌,工具分離出人聲和配樂,不代表已經證明它來自哪個 TTS 或曲庫。

對拍法、燈光和運鏡的描述也應保留推測程度。可以提出「側面柔光、固定機位」的重拍方案,但不能只靠成片就斷言原作者用了哪盞燈或哪一台相機。

從報告到新作品:每一層走適合的製作方式

官方重製指南把下一步分成幾條路線,這比把所有鏡頭都塞給同一個影片模型更容易控制結果。

  • 實拍:依場景與機位整理拍攝清單,使用自己拍攝的素材。
  • AI 鏡頭:準備人物、商品與場景參考,再依鏡頭方案生成。
  • 程式字卡與介面動效:把文字、版面與時間點交給 Agent,另寫 Remotion 等專案。
  • 靜圖推拉:用圖片與量測到的縮放、平移參數在本地重建。
  • 聲音:旁白、配樂、音效分開安排,最後對回畫面事件。

程式動效部分可以對照Remotion 與動畫工作流,目前 rea-video 會提供相關文字、布局與節奏資訊,並不會自動吐出完整 Remotion 工程,這一段仍要由 Agent 實作和驗收。

AI 鏡頭可串接同作者的capsule-cinema,官方文件說明,部分生成與時間軸組裝已可使用,但自動評分等流程仍未完成。批次多鏡頭提示詞,也不能直接視為目前自動執行器一定會合併成一次模型呼叫。

已另外安裝並設定好 capsule-cinema 後,可先產生任務,再做不呼叫生成模型的 dry run,檢查模型、參考圖和要處理的鏡頭:

rea-video remake-plan out/reference/breakdown.json --capsule-root "$HOME/AI/capsule-cinema"
rea-video remake-run out/reference/remake/jobs.json --capsule-root "$HOME/AI/capsule-cinema" --dry-run

確認任務和費用後,再由自己的生成環境執行正式任務。若影片模型沒有產出全部鏡頭,應先處理缺漏,不要直接拿拼接結果當作整支重製完成。

想在自己的機器準備生成素材,可參考DGX Spark 上的 ComfyUI 與 MiniMax H3 安裝流程,但那是另一套生成環境,不代表安裝 rea-video 就會自動具備本地影片模型。若想理解整體製作編排,也可以接著看OpenMontage 的影片製作流程。

比較像原片之前,先確認學到了什麼

參考片最有價值的通常是開場怎麼抓注意力、資訊怎麼安排、鏡頭何時切換,以及聲音如何配合畫面。可以保留這些結構關係,再換成自己的商品、場景、文案和有權使用的素材。

第一個練習不用追求整支一比一,先選一段容易辨識的短片,確認拆解報告能說清楚鏡頭和包裝,再重做其中一小段,對照切點、文字、運鏡和音效逐項修改。工具的價值會表現在你能否把報告轉成可執行的工作,而不只是得到一個看起來很確定的分類。

FAQ

rea-video 可以一鍵產生完整複刻影片嗎?

基本功能是拆解影片與規劃重製。搭配 capsule-cinema 可完成部分 AI 鏡頭生成與組裝,但實拍素材、程式工程及品質驗收仍需另外處理。

rea-video 一定要付費 API 才能用嗎?

不用。基本工具可以不開 VLM,依本地量測產生報告,初次安裝仍可能需要下載模型。外部多模態分析、雲端 Agent 與影片生成各自可能有費用。

可以擷取字幕、花字與音效時間點嗎?

可以產生相關包裝與聲音分析資料,包含字幕 SRT、ASS 與時間軸。文字可能辨識錯誤,細微音效也可能漏檢,應對照原片校對。

rea-video 與 REA 是同一個專案嗎?

不是。rea-video 專注影片製作方式與重製規劃,原始 REA 專注軟體與程式行為的逆向分析。rea-video 的作者標示受到 REA 啟發。

發佈留言

返回頂端