by rainchu 12 月 17, 2025 | AI , Llama , Ollama , 模型
前言：為什麼要做「影片偵探」？
隨著監控攝影機、行車紀錄器、門禁與智慧製造設備的大量部署，「影片」早已成為企業與政府最重要的資料來源之一。然而，影片資料無法被傳統文字搜尋系統理解 ，長時間的人工作業也帶來極高成本。
這正是「影片偵探（Video Detective）」的價值所在——看懂影片內容、理解畫面語意、並能以自然語言回答問題 。
而在 2024 年 9 月 25 日，Meta 推出的 Llama-3.2-90B-Vision（Vision 3.2 90B） ，正式讓「本地端、多模態、可商業應用」的影片理解系統成為可能。
Llama-3.2-90B-Vision 模型簡介
Vision 3.2 90B 是 Meta 在 Llama 3.2 系列中最強大的開源多模態模型（VLM），也是目前開源社群中少數能與封閉模型正面競爭的選擇。
核心規格與特點
模型規模 ：視覺處理能力 ：
圖像理解
圖像描述（Image Captioning）
視覺問答（VQA）
圖表與截圖解析（Excel / PDF / 監控畫面）
技術架構 ：Adapter Weights ，將視覺編碼器整合至 Llama 3 語言模型上下文長度 ：128K tokens ，可處理長影片摘要與多畫面分析效能表現 ：硬體需求 ：NVIDIA A100 / H100 GPU 進行推理
官方資源：
什麼是「影片偵探」？
「影片偵探」並不是單一模型，而是一套 多階段 AI 架構 ：
影格抽取（Frame Sampling） 物件 / 人臉偵測（YOLO / yolo face） 視覺語意理解（Llama-3.2-90B-Vision） 語意摘要與事件推論 自然語言查詢與回應
使用者可以直接詢問：
「這段影片中，有沒有可疑人物？」
為何選擇 Llama-3.2-90B-Vision？
1️⃣ 本地端部署（On-Premise）
對於以下場景尤其重要：
政府監控系統
金融機構
工廠產線
企業內部資安影像
資料不出內網、不上雲端 ，符合資安與法規要求。
透過 Ollama 即可在本地部署 Vision 3.2：
👉 https://ollama.com/library/llama3.2-vision:90b
參考教學：
2️⃣ 高度客製化的影片理解流程
你可以自由設計：
先用 YOLO / yolo face 做人臉與物件偵測
再將關鍵影格丟給 Llama-3.2-90B-Vision 理解語意
根據產業需求自訂 Prompt 與規則
例如：
工地安全（是否未戴安全帽）
店面防盜（可疑行為模式）
智慧製造（異常操作流程）
3️⃣ 可合法商業應用的開源模型
與多數封閉 API 不同，Llama 3.2 系列具備商業使用條款 ，適合：
SaaS 影片分析平台
企業內部 AI 系統
客製化專案與整合案
同時避免：
架構範例：影片偵探系統設計
線上體驗與 API 使用方式
如果暫時沒有高階 GPU，也可以使用 NVIDIA 官方提供的線上版本：
實作系統
影片偵探 Prompt 範例（可直接用）
Prompt 1：單張關鍵影格「事件描述 + 可疑度」
用途 ：把 YOLO 的偵測結果 + 影格一起丟給 Vision 3.2，產出可索引的敘述。
你是一個「影片偵探」AI，負責為監控影格做事件描述與風險判讀。
請根據：
1) 影格畫面內容
2) 我提供的偵測結果（物件類別、bbox、信心值）
輸出結構化 JSON，方便後續索引與查詢。
規則：
- 不要編造畫面中不存在的事物。
- 若畫面資訊不足，請在 unsure 字段說明原因。
- suspicious_score 0~100：越高越可疑，但必須用畫面線索與偵測結果解釋。
- 需同時輸出一段適合全文檢索的繁體中文摘要 summary_zh。
輸入：
timestamp: {{timestamp}}
camera_id: {{camera_id}}
detections: {{yolo_detections_json}}
image: <提供影像>
輸出 JSON 欄位：
{
"timestamp": "...",
"camera_id": "...",
"scene_summary": "...",
"entities": [
{"type": "...", "count": 1, "notable": "..."}
],
"actions": ["..."],
"suspicious_score": 0,
"suspicious_reasons": ["..."],
"unsure": ["..."],
"summary_zh": "..."
}
Prompt 2：多張影格「跨時間軸事件摘要」
用途 ：把同一事件的多張關鍵影格（例如 5~12 張）一次丟給 128K context，做「時間序列推論」
你是一個監控「影片偵探」AI。以下提供同一段時間序列的多張關鍵影格，
每張都有 timestamp 與偵測結果。請完成：
1) 以時間順序描述發生了什麼事（避免臆測）。
2) 是否存在可疑行為？若有，指出關鍵時間點與依據。
3) 產出適合儲存到事件資料庫的 JSON（含 event_type、start/end、關聯track_id）。
輸入格式（重複多次）：
- frame_i.timestamp: ...
- frame_i.detections: ...
- frame_i.image: <圖>
輸出：
- timeline_bullets（條列，含時間）
- event_json：
{
"event_type": "...",
"start_time": "...",
"end_time": "...",
"actors": [{"track_id":"...","type":"person/vehicle","notes":"..."}],
"evidence": [{"timestamp":"...","what":"..."}],
"risk_level": "low/medium/high",
"search_keywords_zh": ["..."]
}
Prompt 3：使用者查詢「找片段 + 佐證」
用途 ：RAG 從索引庫找出候選事件後，叫模型做最後整合回答。
你是影片偵探助理。你會收到：
- 使用者問題
- 檢索得到的候選事件清單（含摘要、時間、相機、佐證影格描述）
請：
1) 直接回答問題（繁體中文）
2) 附上最相關的事件時間範圍（start~end）
3) 列出 1~3 個佐證點（引用候選事件的 evidence）
4) 若資訊不足，說明缺什麼
輸入：
question: {{user_question}}
candidates: {{retrieved_events_json}}
輸出：
{
"answer_zh": "...",
"best_matches": [
{"camera_id":"...","time_range":"...","why":"...","evidence":["..."]}
],
"missing_info": ["..."]
}
YOLO + Vision 3.2 實作流程範例
下面是一個「可落地」的最小可行流程（MVP）
Step 0：選擇部署模式
本地端（推薦） ：Ollama 跑 llama3.2-vision:90b（需強 GPU/多卡）先用線上 API 驗證流程 ：NVIDIA 的 Llama-3.2-90B-Vision Instruct（把 pipeline 跑通再回本地）
Step 1：影片 → 影格抽取（Frame Sampling）
策略建議：
監控：每秒 1~2 張 + 場景切分（scene change）
行車：依速度/光流變化調整取樣
事件型：偵測到人/車才加密取樣
Python（OpenCV）骨架：
import cv2
import os
def extract_frames(video_path, out_dir, fps_sample=1):
os.makedirs(out_dir, exist_ok=True)
cap = cv2.VideoCapture(video_path)
fps = cap.get(cv2.CAP_PROP_FPS) or 30
step = max(int(fps / fps_sample), 1)
idx = 0
frame_id = 0
while True:
ok, frame = cap.read()
if not ok:
break
if frame_id % step == 0:
out_path = os.path.join(out_dir, f"frame_{idx:06d}.jpg")
cv2.imwrite(out_path, frame)
idx += 1
frame_id += 1
cap.release()
return idx
Step 2：影格 → YOLO / yolo face 偵測（產生 metadata）
可以用：
YOLOv8 / YOLOv10 做物件、人、車
yolo face（或更強的人臉模型）做臉部框
之後再加 ByteTrack/DeepSORT 形成 track_id
偵測輸出建議格式（JSON）：
[
{"type":"person","conf":0.92,"bbox":[x1,y1,x2,y2]},
{"type":"car","conf":0.88,"bbox":[x1,y1,x2,y2]},
{"type":"face","conf":0.81,"bbox":[x1,y1,x2,y2]}
]
Step 3：挑關鍵影格（降低 VLM 成本）
常見挑選法：
有偵測到 person/vehicle 才送 VLM
同一 track_id 每 N 秒只取 1 張代表影格
有事件觸發（越線/闖入/停留過久）才送 VLM
Step 4：送進 Vision 3.2 做語意理解（Ollama 版本）
若你用 Ollama，本質上是：影像 + prompt +（可選）metadata → 回傳描述 JSON。
概念請長這樣：
把影格讀成 base64 或直接用 Ollama SDK 的 image 欄位
prompt 內含 timestamp、camera_id、detections
要求模型「輸出 JSON」
依你使用的 Ollama client 調整：
import json
def build_prompt(ts, cam, detections):
return f"""
你是一個影片偵探AI。請依據影像與偵測結果輸出JSON（繁體中文）。
timestamp: {ts}
camera_id: {cam}
detections: {json.dumps(detections, ensure_ascii=False)}
輸出JSON欄位：
{{
"timestamp": "...",
"camera_id": "...",
"scene_summary": "...",
"actions": ["..."],
"suspicious_score": 0,
"suspicious_reasons": ["..."],
"summary_zh": "..."
}}
"""
# 送給 Ollama 的地方，依你使用的套件/HTTP API 填上：
# response = ollama.chat(model="llama3.2-vision:90b", messages=[...], images=[...])
Step 5：事件彙整 + 建索引（讓你能「用中文搜影片」）
你至少要存三種資料：
frame-level：每張影格摘要 + detections
event-level：跨影格彙整（start/end、actors、evidence）
索引：
向量索引（embedding）→ 語意搜尋
關鍵字索引（全文）→ 精準查詢（例如「紅色帽子」「白色車」）
Step 6：查詢（RAG）→ 回答 + 佐證時間軸
流程：
使用者問：「昨天晚上 10 點到 11 點，有沒有人在後門徘徊？」
檢索 event/frame 索引找候選
把候選 evidence 丟給 Prompt 3 做最終回答
回傳：時間範圍 + 相機 + 佐證描述 +（可選）影格連結
你可以直接複製用的「最小資料結構」
frame_record
{
"frame_id": "cam01_20251216_220501_000123",
"camera_id": "cam01",
"timestamp": "2025-12-16T22:05:01",
"image_path": "/frames/cam01/frame_000123.jpg",
"detections": [],
"vlm_json": {},
"summary_zh": "..."
}
event_record
{
"event_id": "evt_20251216_cam01_0007",
"camera_id": "cam01",
"start_time": "2025-12-16T22:05:00",
"end_time": "2025-12-16T22:06:30",
"event_type": "徘徊/闖入/越線/遺留物/群聚",
"actors": [{"track_id":"p12","type":"person"}],
"evidence": [
{"timestamp":"2025-12-16T22:05:15","what":"人物在後門附近停留，反覆靠近門把"}
],
"risk_level": "medium",
"search_keywords_zh": ["後門","徘徊","可疑人物"]
}
事件規則怎麼定義（越線 / 闖入 / 停留）
A. 共同前置：座標系與 ROI 設定
建議每台攝影機都做一份設定檔（JSON/YAML）：
ROI 多邊形 ：例如「後門區域」「禁入區」「收銀台區」Tripwire 線段 ：例如「門檻線」「圍籬線」方向向量 （可選）：判斷越線方向（外→內 / 內→外）
camera_rules.json（示例）
重點 ：事件規則「不要靠 VLM 猜」，VLM 用在「補語意」，規則用在「可重現、可商業合規」。
B. 越線（Tripwire Crossing）
定義 ：同一個 track_id 的「腳點/中心點」從線段一側移動到另一側，且跨越時間在合理範圍。
實作要點
取 bbox 底部中心點（foot point）更準：foot = ((x1+x2)/2, y2)
記錄上一幀 foot 在直線的「符號」（line side sign）
sign 改變（+ → – 或 – → +）= 可能越線
若需要方向：檢查 crossing 前後的位置落在哪個 side
事件輸出
event_type: 越線
evidence: crossing 發生的 timestamp + 當下影格 id
C. 闖入（Intrusion into Restricted Zone）
定義 ：目標（person/vehicle）進入「restricted_zone」ROI，且停留超過 N 幀或 N 秒（避免抖動誤判）。
實作要點
以 foot point 是否在多邊形內判斷（比中心點穩）
用 debounce ：例如連續 5 幀在區域內才算「進入成立」
退出同理：連續 5 幀不在區域內才算退出
事件輸出
event_type: 闖入
start_time = 進入成立時間
end_time = 退出成立時間
D. 停留 / 徘徊（Loitering）
定義 ：在指定 zone 內停留超過 min_seconds，且移動速度低於門檻（或移動距離很小但在區域內反覆）。
實作要點
per track_id 維護：
time_in_zonepath_length（foot 點累積距離）avg_speed = path_length / time_in_zone
停留成立條件（示例）：
time_in_zone >= 20s 且 avg_speed <= 15 px/s
可擴充「徘徊」：
在 zone 內來回穿越同一條小線段超過 K 次
或在 zone 內出入（進/出）頻繁
2) 追蹤器接 YOLO（track_id 穩定）
A. 建議組合
偵測 ：YOLO（person/vehicle/bag…）追蹤 ：ByteTrack（速度快、穩）或 DeepSORT（更重但 ReID 強）ID 穩定策略 ：
只追固定類別 ：例如只追 person/vehicle（別把雜訊類也追）信心值門檻 + NMS ：減少跳框遮擋容忍 ：追蹤器允許短暫 lost 再接回ReID（選配） ：若常遮擋、跨鏡頭才需要
B. 最小資料流（你系統該長這樣）
frame
-> YOLO detections: [x1,y1,x2,y2, conf, cls]
-> Tracker.update(detections)
-> tracks: [track_id, bbox, cls, conf, state]
-> event_rules.update(tracks, timestamp)
C. 追蹤輸出建議格式
[
{"track_id":"p12","type":"person","conf":0.92,"bbox":[...],"foot":[...]}
]
關鍵 ：後續事件規則都以 track_id 為核心。VLM 的 actors 也引用 track_id，才能串起「時間序列」。
3) 向量索引與查詢（embedding schema、RAG prompt）
A. 你要索引什麼？（兩層：frame-level + event-level）
frame-level ：細碎、量大，用於精確定位event-level ：濃縮、量小，用於查詢與回覆（最重要）
B. 建議的 Embedding Schema（event-level）
每個 event 存：
id, camera_id, start_time, end_timeevent_typeactors（含 track_id、類別、特徵詞）summary_zh（VLM + 規則融合）evidence[]（時間戳 + 發生描述 + frame_id）keywords_zh[]（用於 BM25）embedding（由 summary_zh + keywords_zh 拼成）
event_embedding_text 建議組合
[事件類型] 闖入
[地點] cam01 後門 restricted_zone
[摘要] 一名人物在22:05進入禁入區，停留約35秒後離開。
[關鍵詞] 後門, 禁入區, 闖入, 可疑人物
C. 檢索策略（Hybrid Search）
關鍵字/BM25 ：找「後門」「白色車」「紅帽」這種明確詞向量/語意 ：找「徘徊」「鬼鬼祟祟」「疑似踩點」這種抽象語意合併 rerank：取 topK events，再丟給 LLM 做最終回答
D. RAG Prompt（查詢 → 回答 + 時間軸 + 點影格）
「可商業用」模板（配之前的 Prompt 3 進化版）：
你是影片偵探助理。你會收到：
- 使用者問題 question（繁體中文）
- 候選事件 candidates（由索引檢索得到，含 summary_zh、時間、相機、evidence、frame_link）
你的任務是產生「可行動」的答案：
要求：
1) 先用 3~6 句回答使用者，務必引用 candidates 的內容，不要臆測。
2) 產生時間軸 timeline（依時間排序），每點包含：start~end、camera、event_type、1句描述、frame_link（若有）。
3) 如果 candidates 不足以回答，回 missing_info，並說明需要補哪段時間/哪個相機/哪種事件資料。
4) 全部輸出 JSON，方便前端直接渲染。
輸入：
question: {{question}}
candidates: {{candidates_json}}
輸出 JSON：
{
"answer_zh": "...",
"timeline": [
{
"camera_id": "...",
"time_range": "YYYY-MM-DD HH:MM:SS ~ HH:MM:SS",
"event_type": "...",
"description": "...",
"evidence": ["..."],
"frame_links": ["..."]
}
],
"missing_info": ["..."]
}
4) 簡單 Web UI（查詢 → 回傳時間軸 → 點開影格）
我給你一個最小 MVP 架構：
A. API 設計（後端）
GET /api/search?q=...&from=...&to=...&camera=...
回傳 RAG 結果 JSON（answer_zh + timeline）
GET /frames/<frame_id>.jpg
回傳 JSON（示例）
{
"answer_zh":"在 22:05~22:06 期間，cam01 後門區域出現 1 次闖入事件...",
"timeline":[
{
"camera_id":"cam01",
"time_range":"2025-12-16 22:05:00 ~ 22:06:30",
"event_type":"闖入",
"description":"人物 p12 進入 restricted_zone 停留約35秒後離開。",
"evidence":["22:05:15 人物靠近門把","22:06:10 人物離開區域"],
"frame_links":["/frames/cam01_20251216_220515_000130.jpg"]
}
],
"missing_info":[]
}
B. 前端（純 HTML+JS 就能跑）
把這段存成 index.html，指向你的 API：
<!doctype html>
<html lang="zh-Hant">
<head>
<meta charset="utf-8" />
<meta name="viewport" content="width=device-width,initial-scale=1" />
<title>影片偵探 Demo</title>
<style>
body { font-family: system-ui, -apple-system, "Noto Sans TC", sans-serif; margin: 16px; }
.row { display: flex; gap: 8px; flex-wrap: wrap; margin-bottom: 12px; }
input, select, button { padding: 8px; }
.card { border: 1px solid #ddd; border-radius: 12px; padding: 12px; margin: 10px 0; }
.timeline-item { cursor: pointer; padding: 10px; border-radius: 10px; }
.timeline-item:hover { background: #f5f5f5; }
.grid { display: grid; grid-template-columns: 1fr 1fr; gap: 12px; }
img { max-width: 100%; border-radius: 12px; border: 1px solid #eee; }
pre { background:#fafafa; padding:10px; border-radius:10px; overflow:auto; }
</style>
</head>
<body>
<h1>影片偵探 Demo</h1>
<div class="row">
<input id="q" size="40" placeholder="例如：後門有沒有人徘徊？白色車出現在哪？" />
<input id="from" type="datetime-local" />
<input id="to" type="datetime-local" />
<select id="camera">
<option value="">全部相機</option>
<option value="cam01">cam01</option>
<option value="cam02">cam02</option>
</select>
<button id="btn">查詢</button>
</div>
<div class="grid">
<div>
<div class="card">
<h3>答案</h3>
<div id="answer">尚未查詢</div>
</div>
<div class="card">
<h3>時間軸</h3>
<div id="timeline"></div>
</div>
<div class="card">
<h3>除錯（回傳 JSON）</h3>
<pre id="raw">{}</pre>
</div>
</div>
<div>
<div class="card">
<h3>影格預覽</h3>
<div id="frameInfo">點選左側時間軸項目查看影格</div>
<img id="frame" src="" alt="" style="display:none;" />
</div>
</div>
</div>
<script>
const $ = (id) => document.getElementById(id);
function toISOParam(dtLocal) {
// 直接傳給後端即可（你可在後端再轉時區）
return dtLocal ? encodeURIComponent(dtLocal) : "";
}
function renderTimeline(items) {
const root = $("timeline");
root.innerHTML = "";
if (!items || items.length === 0) {
root.innerHTML = "<div>沒有找到事件</div>";
return;
}
items.forEach((it, idx) => {
const div = document.createElement("div");
div.className = "timeline-item";
div.innerHTML = `
<div><b>${it.time_range}</b>｜${it.camera_id}｜${it.event_type}</div>
<div>${it.description}</div>
`;
div.onclick = () => {
const link = (it.frame_links && it.frame_links[0]) ? it.frame_links[0] : "";
$("frameInfo").innerText = link ? `影格：${link}` : "此事件沒有影格連結";
if (link) {
$("frame").src = link;
$("frame").style.display = "block";
} else {
$("frame").style.display = "none";
}
};
root.appendChild(div);
});
}
$("btn").onclick = async () => {
const q = $("q").value.trim();
const from = toISOParam($("from").value);
const to = toISOParam($("to").value);
const camera = encodeURIComponent($("camera").value);
const url = `/api/search?q=${encodeURIComponent(q)}&from=${from}&to=${to}&camera=${camera}`;
const res = await fetch(url);
const data = await res.json();
$("answer").innerText = data.answer_zh || "";
renderTimeline(data.timeline || []);
$("raw").innerText = JSON.stringify(data, null, 2);
};
</script>
</body>
</html>
最小可跑的 Flask 後端實作（MVP）
最小可跑的 Flask 後端實作（MVP） ：
GET /api/search：用最簡單的「關鍵字 + 語意(可選)」搜尋事件，回傳前端需要的 answer_zh + timeline JSONGET /frames/<path>：提供影格圖片（靜態檔）內建一份 data/events.json 假資料，讓你不用先把整個 pipeline 做完也能 Demo 起來
前端就用你前面那份 index.html（我也一起放進 static/）
你可以直接照以下檔案建立專案。
專案結構
video-detective-mvp/
app.py
requirements.txt
data/
events.json
frames/
cam01_20251216_220515_000130.jpg (放你自己的影格檔)
static/
index.html
requirements.txt
data/events.json（假資料，可自行新增）
[
{
"event_id": "evt_20251216_cam01_0007",
"camera_id": "cam01",
"start_time": "2025-12-16T22:05:00",
"end_time": "2025-12-16T22:06:30",
"event_type": "闖入",
"actors": [{"track_id":"p12","type":"person"}],
"summary_zh": "一名人物進入後門禁入區，停留約35秒後離開。",
"keywords_zh": ["後門","禁入區","闖入","可疑人物"],
"evidence": [
{"timestamp":"2025-12-16T22:05:15","what":"人物靠近門把並進入禁入區"},
{"timestamp":"2025-12-16T22:06:10","what":"人物離開禁入區"}
],
"frame_links": ["/frames/cam01_20251216_220515_000130.jpg"]
},
{
"event_id": "evt_20251216_cam02_0011",
"camera_id": "cam02",
"start_time": "2025-12-16T21:40:10",
"end_time": "2025-12-16T21:41:05",
"event_type": "越線",
"actors": [{"track_id":"v03","type":"vehicle"}],
"summary_zh": "一輛車跨越門檻線由外往內進入區域。",
"keywords_zh": ["越線","車輛","進入","門檻線"],
"evidence": [
{"timestamp":"2025-12-16T21:40:22","what":"車輛前輪跨越門檻線"}
],
"frame_links": []
},
{
"event_id": "evt_20251216_cam01_0009",
"camera_id": "cam01",
"start_time": "2025-12-16T23:10:00",
"end_time": "2025-12-16T23:11:00",
"event_type": "停留",
"actors": [{"track_id":"p33","type":"person"}],
"summary_zh": "一名人物在後門區域停留約60秒，移動緩慢，疑似徘徊。",
"keywords_zh": ["後門","停留","徘徊","可疑"],
"evidence": [
{"timestamp":"2025-12-16T23:10:20","what":"人物在後門附近停留且來回踱步"}
],
"frame_links": []
}
]
static/index.html（直接用你前面 UI；這裡給一份可直接用的）
這份會呼叫 /api/search，點時間軸會開影格。
<!doctype html>
<html lang="zh-Hant">
<head>
<meta charset="utf-8" />
<meta name="viewport" content="width=device-width,initial-scale=1" />
<title>影片偵探 Demo</title>
<style>
body { font-family: system-ui, -apple-system, "Noto Sans TC", sans-serif; margin: 16px; }
.row { display: flex; gap: 8px; flex-wrap: wrap; margin-bottom: 12px; }
input, select, button { padding: 8px; }
.card { border: 1px solid #ddd; border-radius: 12px; padding: 12px; margin: 10px 0; }
.timeline-item { cursor: pointer; padding: 10px; border-radius: 10px; }
.timeline-item:hover { background: #f5f5f5; }
.grid { display: grid; grid-template-columns: 1fr 1fr; gap: 12px; }
img { max-width: 100%; border-radius: 12px; border: 1px solid #eee; }
pre { background:#fafafa; padding:10px; border-radius:10px; overflow:auto; }
</style>
</head>
<body>
<h1>影片偵探 Demo</h1>
<div class="row">
<input id="q" size="42" placeholder="例如：後門有沒有人徘徊？禁入區闖入？越線？" />
<input id="from" type="datetime-local" />
<input id="to" type="datetime-local" />
<select id="camera">
<option value="">全部相機</option>
<option value="cam01">cam01</option>
<option value="cam02">cam02</option>
</select>
<button id="btn">查詢</button>
</div>
<div class="grid">
<div>
<div class="card">
<h3>答案</h3>
<div id="answer">尚未查詢</div>
</div>
<div class="card">
<h3>時間軸</h3>
<div id="timeline"></div>
</div>
<div class="card">
<h3>除錯（回傳 JSON）</h3>
<pre id="raw">{}</pre>
</div>
</div>
<div>
<div class="card">
<h3>影格預覽</h3>
<div id="frameInfo">點選左側時間軸項目查看影格</div>
<img id="frame" src="" alt="" style="display:none;" />
</div>
</div>
</div>
<script>
const $ = (id) => document.getElementById(id);
function renderTimeline(items) {
const root = $("timeline");
root.innerHTML = "";
if (!items || items.length === 0) {
root.innerHTML = "<div>沒有找到事件</div>";
return;
}
items.forEach((it) => {
const div = document.createElement("div");
div.className = "timeline-item";
div.innerHTML = `
<div><b>${it.time_range}</b>｜${it.camera_id}｜${it.event_type}</div>
<div>${it.description}</div>
`;
div.onclick = () => {
const link = (it.frame_links && it.frame_links[0]) ? it.frame_links[0] : "";
$("frameInfo").innerText = link ? `影格：${link}` : "此事件沒有影格連結";
if (link) {
$("frame").src = link;
$("frame").style.display = "block";
} else {
$("frame").style.display = "none";
}
};
root.appendChild(div);
});
}
$("btn").onclick = async () => {
const q = $("q").value.trim();
const from = $("from").value;
const to = $("to").value;
const camera = $("camera").value;
const url = `/api/search?q=${encodeURIComponent(q)}&from=${encodeURIComponent(from)}&to=${encodeURIComponent(to)}&camera=${encodeURIComponent(camera)}`;
const res = await fetch(url);
const data = await res.json();
$("answer").innerText = data.answer_zh || "";
renderTimeline(data.timeline || []);
$("raw").innerText = JSON.stringify(data, null, 2);
};
</script>
</body>
</html>
app.py（Flask 後端：搜尋 + 回傳 timeline + 靜態影格）
from __future__ import annotations
import json
import os
from dataclasses import dataclass
from datetime import datetime
from typing import Any, Dict, List, Optional, Tuple
from flask import Flask, jsonify, request, send_from_directory
BASE_DIR = os.path.dirname(os.path.abspath(__file__))
DATA_PATH = os.path.join(BASE_DIR, "data", "events.json")
FRAMES_DIR = os.path.join(BASE_DIR, "frames")
def parse_dt(s: str) -> Optional[datetime]:
"""
Accepts:
- "" -> None
- HTML datetime-local: "2025-12-16T22:05"
- ISO: "2025-12-16T22:05:00"
"""
if not s:
return None
s = s.strip()
for fmt in ("%Y-%m-%dT%H:%M", "%Y-%m-%dT%H:%M:%S"):
try:
return datetime.strptime(s, fmt)
except ValueError:
pass
# Fallback: try fromisoformat (may accept seconds/microseconds)
try:
return datetime.fromisoformat(s)
except ValueError:
return None
def load_events() -> List[Dict[str, Any]]:
if not os.path.exists(DATA_PATH):
return []
with open(DATA_PATH, "r", encoding="utf-8") as f:
return json.load(f)
def dt_in_range(start: datetime, end: datetime, q_from: Optional[datetime], q_to: Optional[datetime]) -> bool:
if q_from and end < q_from:
return False
if q_to and start > q_to:
return False
return True
def text_score(query_tokens: List[str], event: Dict[str, Any]) -> int:
"""
Minimal keyword scoring:
- match in event_type, summary_zh, keywords_zh, evidence.what
"""
blob_parts = []
blob_parts.append(str(event.get("event_type", "")))
blob_parts.append(str(event.get("summary_zh", "")))
blob_parts.extend(event.get("keywords_zh", []) or [])
for ev in event.get("evidence", []) or []:
blob_parts.append(str(ev.get("what", "")))
blob = " ".join(blob_parts).lower()
score = 0
for t in query_tokens:
if not t:
continue
if t in blob:
score += 10
return score
def tokenize_zh(query: str) -> List[str]:
"""
MVP 簡化版 tokenization：
- 以空白切
- 再把常見關鍵詞直接保留（你可改成 jieba/ckip/hfl 分詞）
"""
q = (query or "").strip().lower()
if not q:
return []
tokens = [x for x in q.replace("，", " ").replace(",", " ").split() if x]
# 也把一些常見事件詞補入（避免使用者只打「徘徊」但資料用「停留」）
synonyms = {
"徘徊": ["停留"],
"停留": ["徘徊"],
"闖入": ["入侵", "禁入"],
"越線": ["跨線", "穿越"],
"後門": ["門口"]
}
expanded = []
for t in tokens:
expanded.append(t)
for s in synonyms.get(t, []):
expanded.append(s)
return expanded
def build_timeline_item(e: Dict[str, Any]) -> Dict[str, Any]:
def fmt_range(s: str, t: str) -> str:
try:
sdt = datetime.fromisoformat(s)
tdt = datetime.fromisoformat(t)
return f"{sdt:%Y-%m-%d %H:%M:%S} ~ {tdt:%Y-%m-%d %H:%M:%S}"
except Exception:
return f"{s} ~ {t}"
evidence = []
for ev in e.get("evidence", []) or []:
ts = ev.get("timestamp", "")
what = ev.get("what", "")
if ts and what:
evidence.append(f"{ts} {what}")
elif what:
evidence.append(what)
return {
"camera_id": e.get("camera_id", ""),
"time_range": fmt_range(e.get("start_time", ""), e.get("end_time", "")),
"event_type": e.get("event_type", ""),
"description": e.get("summary_zh", ""),
"evidence": evidence[:3],
"frame_links": e.get("frame_links", []) or [],
}
def build_answer(query: str, matched: List[Dict[str, Any]]) -> str:
if not query.strip():
return "請輸入查詢內容（例如：後門 徘徊、禁入區 闖入、越線）。"
if not matched:
return "沒有找到符合條件的事件。你可以嘗試放寬時間範圍、改用關鍵詞（例如：後門、闖入、停留、越線）。"
# MVP：用最前面幾筆拼一段可讀答案（之後你可接 LLM/RAG）
top = matched[:3]
parts = []
parts.append(f"找到 {len(matched)} 筆候選事件，最相關的如下：")
for e in top:
parts.append(f"- {e.get('camera_id','')}｜{e.get('event_type','')}｜{e.get('summary_zh','')}")
return "\n".join(parts)
app = Flask(__name__, static_folder="static", static_url_path="/")
@app.get("/")
def index():
# 直接用 static/index.html
return app.send_static_file("index.html")
@app.get("/frames/<path:filename>")
def frames(filename: str):
# 提供影格圖片
return send_from_directory(FRAMES_DIR, filename)
@app.get("/api/search")
def api_search():
q = request.args.get("q", "")
camera = request.args.get("camera", "").strip()
q_from = parse_dt(request.args.get("from", ""))
q_to = parse_dt(request.args.get("to", ""))
events = load_events()
tokens = tokenize_zh(q)
# 先做基本篩選（camera + time range）
filtered = []
for e in events:
if camera and e.get("camera_id") != camera:
continue
s = parse_dt(e.get("start_time", "")) or datetime.min
t = parse_dt(e.get("end_time", "")) or datetime.min
if not dt_in_range(s, t, q_from, q_to):
continue
filtered.append(e)
# 關鍵字打分排序（MVP）
scored: List[Tuple[int, Dict[str, Any]]] = []
for e in filtered:
score = text_score(tokens, e)
if tokens and score <= 0:
continue
scored.append((score, e))
scored.sort(key=lambda x: x[0], reverse=True)
matched = [e for _, e in scored][:20]
resp = {
"answer_zh": build_answer(q, matched),
"timeline": [build_timeline_item(e) for e in matched],
"missing_info": [] if matched else ["建議擴大時間範圍或指定相機，並使用關鍵字：後門、闖入、停留、越線。"],
}
return jsonify(resp)
if __name__ == "__main__":
os.makedirs(FRAMES_DIR, exist_ok=True)
app.run(host="0.0.0.0", port=5000, debug=True)
啟動方式
cd video-detective-mvp
python -m venv .venv
# Windows: .venv\Scripts\activate
source .venv/bin/activate
pip install -r requirements.txt
python app.py
打開瀏覽器：http://localhost:5000/ ，MVP 已經能跑 UI + 查詢 + 時間軸 + 點影格。接下來可以逐步替換：
把 build_answer() 換成 RAG （把 topK candidates 丟給 Llama-3.2-90B-Vision / 或先用任一 LLM）
把 data/events.json 換成資料庫 （SQLite / PostgreSQL）
把 text_score() 換成 Hybrid Search ：
BM25（全文索引） + 向量索引（Qdrant/pgvector）
進階實用版本
✅ SQLite 儲存 events（含初始化與匯入） 向量欄位介面（先 stub，未來可無痛換 Qdrant / pgvector） 事件詳情 API（/api/event/<id>，支援多影格 / 證據） /api/search + /api/event/<id> + /frames/...可跑的簡易 IoU Tracker（保底） + ByteTrack 保底可跑 IoU Tracker ；之後你只要替換 tracker 類別就能上 ByteTrack）
之後再補
✅ cooldown 去重機制 （避免事件爆量）
✅ 事件合併 （同一個 track 的闖入/停留合併成單一 event，帶 start/end）
✅ 把 VLM（Ollama Vision 90B）用於事件摘要 ：只對「關鍵事件」抽 1~3 張影格做語意補強（成本更可控）
結語：Vision 3.2 90B 為開源影片 AI 帶來新世代
Llama-3.2-90B-Vision 不只是「能看圖的 LLM」，而是讓：
真正進入 本地端、可控、可商業化 的時代，對於想打造「影片偵探」的團隊而言，它是目前開源世界中最具實力的選擇之一 。
參考資料
https://mermaid.live
by rainchu 12 月 15, 2025 | AI , 圖型處理 , 模型 , 繪圖
Nano Banana Pro 剛出，就馬上成為「圖像生成與視覺應用」領域的新標準，它不只是畫圖工具，而是一個高度可控、支援中文、能維持一致性的 AI 視覺引擎 。
以下整理 Google Nano Banana Pro 的 15 種超強應用場景 ，無論你是設計師、行銷企劃、教育工作者或產品經理，都能立即上手。
1️⃣ 簡報／企劃海報快速生成
只要輸入企劃主題與風格，Nano Banana 就能產出投影片主視覺、封面海報、提案插圖 ，大幅減少找素材與修圖時間。
2️⃣ 草圖秒變產品實景圖
手繪線稿、低擬真草圖，可直接轉為擬真產品照 ，特別適合工業設計、UI / UX、新創產品驗證。
3️⃣ 設計材質紋理
可精準生成木頭、金屬、皮革、布料、玻璃等高解析材質貼圖 ，支援不同光源與粗糙度設定。
4️⃣ 角色一致性
透過角色描述與參考設定，即使多次生成，也能維持臉型、服裝、風格高度一致 ，非常適合漫畫、品牌代言角色。
5️⃣ 品牌指南手冊
一次生成品牌色彩、字體風格、視覺範例 ，快速完成 Brand Book 視覺示意。
6️⃣ 生成各種尺寸
同一視覺可自動輸出 社群貼文、橫幅廣告、直式限動、網站 Banner 等多尺寸版本。
7️⃣ 食譜圖超清晰
針對食物細節表現極佳，油光、層次、質地自然，特別適合餐飲菜單、食譜部落格、外送平台 。
8️⃣ 多國語言菜單 Menu
結合 Gemini 的語言能力，可直接生成多國語言版本菜單圖片 ，且排版自然、不違和。
9️⃣ 景點／教材圖卡
可用於旅遊介紹、歷史教材、地理圖卡、兒童學習素材 ，風格可愛或寫實皆可。
🔟 風格轉換更精細
支援攝影風、插畫風、3D 風、日系、美式、復古等，且保留原圖構圖與細節 。
1️⃣1️⃣ 教學假桌面生成
快速生成「假作業系統畫面」、「教學用後台介面」，適合製作教學簡報與線上課程 。
1️⃣2️⃣ 腳本 → 連續劇照
輸入分鏡或劇本段落，即可生成連續一致的劇照畫面 ，對影視提案與動畫前期極有幫助。
1️⃣3️⃣ 中文超強
對繁體中文理解精準，無論是菜單、教材、標語、情境文字，都能自然呈現，不再需要英文轉譯 。
1️⃣4️⃣ 畫 3D 圖也可以
可生成擬 3D、等角視圖、產品爆炸圖概念，適合簡報與技術說明使用。
1️⃣5️⃣ 任意切換焦距
同一場景可切換廣角、標準、特寫、微距 ，視覺敘事能力大幅提升。
參考與官方資源
近期留言