by Rain Chu | 4 月 29, 2026 | AI, Ollama, 模型
🧱 直接給「滿血設定」
你現在 service 改成這個👇（最重要）
[Unit]
Description=Ollama Service
After=network-online.target[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3# ===== 核心 =====
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_KEEP_ALIVE=-1"# ===== GPU 強制 =====
Environment="OLLAMA_GPU_LAYERS=999"# ===== 記憶體優化 =====
Environment="OLLAMA_KV_CACHE_TYPE=q8_0"
Environment="OLLAMA_FLASH_ATTENTION=1"# ===== Spark專用 tuning =====
Environment="OLLAMA_NUM_PARALLEL=2"
Environment="OLLAMA_MAX_LOADED_MODELS=2"
Environment="OLLAMA_MAX_QUEUE=512"# ===== CPU 控制 =====
Environment="OMP_NUM_THREADS=20"# ===== PATH =====
Environment="PATH=/usr/local/cuda/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin"[Install]
WantedBy=multi-user.target
🔁 套用
sudo systemctl daemon-reexec
sudo systemctl daemon-reload
sudo systemctl restart ollama
🔍 一定要做驗證
systemctl show ollama | grep OLLAMA
👉 要看到全部變數
🧠 模型才是性能關鍵
🔥 Spark 正確用法
| 用途 | 模型 |
|---|
| 最快 | llama3:8b |
| 平衡 | llama3:13b |
| 大模型 | 30B（單一） |
✅ 先做這個測試（非常重要）
ollama run llama3
👉 再看：
nvidia-smi
🔥 讓 GPU 真的滿血（關鍵3件事）
① 模型「完全進 GPU」
👉 關鍵判斷：
ollama ps
看到：
100% GPU
👉 才算成功
② context 不要亂開
👉 Ollama 預設 4096
👉 你如果開到：
👉 = 直接 CPU fallback
👉 建議：
ollama run llama3 --num_ctx 4096
③ 不要多模型併發
Spark 特性：
👉 記憶體大，但 bandwidth 普通
👉 所以：
OLLAMA_NUM_PARALLEL=2
是最佳解
🧠 Spark 的本質
👉 DGX Spark：
- 128GB memory ✔
- 超大模型可跑 ✔
- ❌ 不是高吞吐 GPU
👉 正確定位：
🔥 大模型單機推理機
🧪 接下就會看到的改善
調完後：
| 指標 | 改善 |
|---|
| GPU Util | 0% → 80%+ |
| token/sec | ↑ 3~10倍 |
| latency | ↓ 50%以上 |
| CPU | ↓ |
🎯 注意事項
👉 ❗不要讓使用者直接打 Ollama
by Rain Chu | 4 月 24, 2026 | Agent, AI, Microsoft, Tool
在 AI 時代，「讓 AI 看懂文件」變成一個非常關鍵的能力，但現實世界的資料格式五花八門，從 PDF、Word 到 PPT、甚至影片與音訊，這些內容對 AI 來說其實並不好直接處理。
這時候，MarkItDown 就成為一把真正的「文件瑞士刀」。
由 Microsoft 開源推出，MarkItDown 能將各種格式的檔案，一鍵轉換成乾淨、結構化、AI 友善的 Markdown，讓 ChatGPT、Claude 或各種 AI Agent 能輕鬆理解與分析。
你只要把 https://github.com/microsoft/markitdown 網址貼給 agent ，請他安裝就可以了
🚀 為什麼 MarkItDown 這麼強？
MarkItDown 最大的優勢只有一句話：
👉 幾乎什麼格式都能轉，而且還轉得漂亮
📂 支援格式（強到誇張）
🧾 辦公文件
- PDF
- Word（DOCX）
- PowerPoint（PPTX）
- Excel（XLSX / XLS）
🌐 網頁內容
🖼️ 影像檔
- JPG / PNG
- 支援 OCR 文字辨識
- 可搭配 AI 產生圖片描述
🎧 音訊檔
- WAV / MP3
- 自動語音轉文字（Speech-to-Text）
📊 資料格式
📦 其他進階格式
- ZIP（自動解壓並轉換）
- Outlook 郵件
- YouTube（自動擷取字幕）
- EPub 電子書
✨ 不只是轉檔，而是「結構理解」
很多轉檔工具的問題是：
👉 轉出來變成一坨純文字（完全不能用）
但 MarkItDown 不一樣，它會：
- 保留標題層級（# ## ###）
- 還原表格結構
- 保留清單與段落
- 維持超連結
👉 轉出來就是 AI 可以直接理解的 Markdown 結構
這對以下應用非常關鍵：
- RAG（檢索增強生成）
- AI 文件摘要
- Agent 自動閱讀文件
⚡ 安裝與使用（超簡單）
安裝
pip install "markitdown[all]"
👉 如果只需要特定格式：
pip install "markitdown[pdf,docx,pptx]"
CLI 使用
markitdown 報告.pdf -o 報告.md
Python 使用
from markitdown import MarkItDownmd = MarkItDown()
result = md.convert("文件.docx")print(result.markdown)
👉 幾行程式碼就搞定
🤖 搭配 AI：威力直接翻倍
MarkItDown 真正強的地方，是它「原生為 AI 設計」。
🧠 AI 圖片理解
- 可串接 OpenAI 視覺模型
- 自動產生圖片描述
- 讓 AI 看懂圖片內容
🔍 OCR 文字辨識
- 整合 Azure Document Intelligence
- 可讀取掃描 PDF / 圖片文字
🔌 MCP（Model Context Protocol）整合
- 可直接接入 Claude Desktop
- 或各種 AI Agent 系統
👉 這點對在做 AI Agent / LangChain / 自動化流程 特別重要
🧩 外掛系統
📌 實際應用場景
1️⃣ 餵 AI 吃文件（超省 Token）
👉 先轉 Markdown，再丟 AI
效果：
- Token 減少最多可達 80%
- AI 理解更準確
2️⃣ 建構企業知識庫（RAG）
流程：
文件 → MarkItDown → Markdown → Embedding → Vector DB
👉 完整 AI 知識庫 pipeline
3️⃣ AI Agent 文件閱讀能力
在你的 Agent 流程中加入：
文件 → MarkItDown → LLM 分析
👉 Agent 直接具備「讀文件能力」
4️⃣ 會議紀錄自動化
錄音 → 轉文字 → Markdown → AI整理
👉 自動產出結構化會議紀錄
⚠️ 不是萬能
MarkItDown 雖然強，但有幾個限制：
- 複雜圖表（Chart / Graph）解析較弱
- 高度排版文件可能失真
- 不適合做「高保真排版還原」
👉 如果你要的是「完美排版還原」
建議用：
👉 Pandoc
👉 如果你要的是「讓 AI 看懂」
👉 MarkItDown 完勝
🧠 結論：AI 時代的文件標準工具
MarkItDown 解決了一個非常關鍵但常被忽略的問題：
👉 AI 看不懂文件格式
它的價值在於：
- ✅ 超廣格式支援
- ✅ 保留結構（不是純文字）
- ✅ 原生為 AI 設計
- ✅ 可整合 Agent / RAG / 自動化流程
- ✅ 免費開源
👉 如果你正在做：
- AI Agent
- 文件分析
- 自動化流程
- 知識庫建構
MarkItDown 是 AI Agent 必裝工具。
by Rain Chu | 4 月 24, 2026 | AI, 影片製作
🎬 前言：影音生成進入新紀元
在 AI 生成技術快速進化的浪潮中，影音生成（Video Generation）一直是最具挑戰的領域之一，近期阿里巴巴推出全新開源模型 Happy Horse 1.0，不僅一舉登上視訊生成排行榜首，更以「原生音視訊同步」技術引發業界關注。
這不只是一次模型更新，而是一場技術架構的全面升級。
🧠 技術突破：原生音視訊同步與統一架構
過去的影音生成模型，多數採用「先產畫面、再加聲音」的分離式流程，導致以下問題：
- 聲音與畫面不同步
- 情緒與語境不一致
- 動作與語音對不上（例如嘴型錯誤）
而 Happy Horse 1.0 的最大突破在於：
✅ 原生音視訊同步（Native Audio-Visual Generation）
模型在同一個架構中，同步生成：
👉 這代表：
- 嘴型、語氣、動作可以完全對齊
- 情境更自然、沉浸感更強
✅ 統一生成架構（Unified Architecture）
傳統模型：
Text → Image → Video → Audio
Happy Horse：
Text → Audio + Video（同步生成）
👉 好處：
🌍 開源策略：直接撼動產業格局
這次阿里的另一個關鍵策略是——全面開源。
在目前市場上，多數高品質影音模型（如某些閉源模型）仍然：
而 Happy Horse 1.0：
🔓 開源帶來的優勢
- 可自行部署（企業私有化）
- 可進行 fine-tune
- 可整合到自家 SaaS / Agent 系統
- 大幅降低成本
👉 對你這種正在做：
- AI Agent
- SaaS 平台（像 OpenClaw / Hermes）
- 影音生成服務
這其實是「直接可商用的關鍵拼圖」。
🧪 實測對比：各有所長，但方向已定
從目前社群與測試結果來看，Happy Horse 1.0 與其他主流模型相比：
🎥 優勢
- 音畫同步表現極佳（領先）
- 人物口型與語音一致性高
- 長影片穩定性提升
⚖️ 相對限制
- 某些細節畫質仍有進步空間
- 複雜場景（多人物）仍需優化
- 訓練與硬體需求較高
👉 結論不是「全面碾壓」，而是：
在「影音同步」這個核心維度上，已經領先一個世代。
🧩 對開發者的實際影響（重點）
如果你是開發者或創業者，這代表什麼？
💡 你現在可以做：
- AI 影片生成 SaaS（類似 Runway / Pika）
- AI 虛擬人（帶語音與表情同步）
- 自動短影音生成（TikTok / 房仲 / 行銷）
- AI 教學影片生成
👉 Happy Horse 可以直接變成：
Agent → 呼叫影音生成 API → 自動產影片
甚至可以做到：
- 「用一句話生成完整短影音廣告」
- 「AI 自動生成房仲介紹影片」
🏗️ 未來趨勢：影音生成將取代文字生成？
目前 AI 發展路線：
- 文字生成（GPT）
- 圖像生成（Stable Diffusion）
- 影音生成（下一戰場）
而 Happy Horse 代表：
🔥「影音生成正式進入可商用時代」
未來很可能出現：
- AI 直接生成 YouTube 影片
- 無人製作的短影音工廠
- AI 自動做內容變現
📦 官方資源
by Rain Chu | 4 月 24, 2026 | Agent, AI
在過去，AI 只是工具
現在，AI 正在變成你的「員工」
而未來，你的團隊中——
真正工作的，可能不再是人類
🧠 什麼是 Multica？
Multica 是一個開源的 Managed Agents（智能體管理）平台，核心概念非常直接：
把 AI 編碼 Agent，變成真正的「隊友」
不像傳統 AI 工具需要你手動下 prompt、盯著結果，
Multica 讓 AI：
- 自己接任務
- 自己執行工作
- 自己回報進度
- 自己累積能力
👉 就像你真的聘請了一個工程師。
根據官方說明，它的目標是打造「人類 + AI 的混合團隊」基礎設施。
💥 核心理念：AI 不再是工具，而是「員工」
傳統 AI：
Multica 的 AI：
👉 這是從「工具」到「組織角色」的巨大轉變。
⚙️ Multica 的核心功能
1️⃣ Agent 即隊友
你可以像在 Jira 或 Linear 一樣：
- 指派任務給 AI
- AI 會自動認領
- 在看板上更新進度
- 主動回報問題
👉 AI 成為專案管理的一等公民
2️⃣ 全自動任務執行
AI 會：
- 排隊 → 接任務 → 執行 → 完成 / 失敗
- 全程自動運作
- 即時回報進度（WebSocket）
👉 不需要再「盯著 AI 跑」
3️⃣ 技能累積（最關鍵）
每一次任務：
➡️ 都會變成「可重用技能」
例如：
- 部署流程
- DB migration
- Code review
👉 團隊能力會「越用越強」
4️⃣ 多 Agent 協作
你可以同時：
- 跑 10 個 AI 任務
- 多個 Agent 協同工作
- 平行處理專案
👉 等於一個 AI 工程團隊
5️⃣ 統一運行與算力管理
- 本地 + 雲端 runtime
- 自動偵測 CLI 工具
- 統一控制台管理
👉 不用自己拼基礎設施
🧩 為什麼這件事重要？
現在 AI 最大的問題是：
- 每個人用自己的 Agent
- 知識無法共享
- 工作流程碎片化
Multica 解決的是：
👉 AI 協作的「組織問題」
它讓：
👉 這就是「AI 組織化」的開始
🏢 這其實是「AI HR 系統」
如果用一句話形容：
Multica = AI 員工管理系統
它提供：
- 任務分配（像 HR）
- 進度追蹤（像 PM）
- 能力累積（像培訓系統）
👉 AI 不只是會做事，還會「成長」
🔮 未來趨勢：公司將變成「人類 + AI 混合組織」
你可以想像未來公司長這樣：
| 類型 | 角色 |
|---|
| 人類 | 決策 / 創意 / 策略 |
| AI Agent | 開發 / 測試 / 自動化 / 文書 |
甚至：
- 一個人帶 10 個 AI 工程師
- 一個團隊管理 100 個 Agent
👉 生產力直接提升 10 倍（甚至更多）
⚔️ Multica vs 傳統 AI 工具
| 比較 | 傳統 AI | Multica |
|---|
| 使用方式 | Prompt | 任務分配 |
| 工作模式 | 單次互動 | 長時間運行 |
| 協作 | 無 | 多 Agent |
| 記憶 | 無 | 技能累積 |
| 管理 | 人盯 | 自動化 |
👉 本質差異：
工具 → 組織系統
🧠 結論：你該開始思考的事
這不是未來，而是現在正在發生的事。
by Rain Chu | 4 月 18, 2026 | AI, 語音合成
🧠 什麼是 VoxCPM？
VoxCPM 是由 OpenBMB 推出的新一代語音生成模型，主打：
👉 超低樣本聲音克隆（只需5秒）
👉 完全本地運行（無需雲端）
👉 多語言＋多方言支持（30+）
簡單講一句話：
👉 它就是「語音界的 Stable Diffusion」
🚀 核心特色
🎙️ 1️⃣ 極致聲音複製（5秒搞定）
只需要一段短短語音（約5秒）：
👉 幾乎達到「真人等級」
🎚️ 2️⃣ 專業播音員等級輸出
生成語音具備：
- 清晰度高（接近錄音室品質）
- 節奏自然
- 可長文本生成（Podcast / 有聲書）
👉 可直接商用（需注意授權）
🌏 3️⃣ 多語言＋方言（重點）
支援：
- 中文（普通話）
- 台語（閩南語）
- 廣東話
- 四川話
- 英文 / 日文 / 韓文 等
👉 這點直接屌打很多 TTS 工具
🔒 4️⃣ 完全本地運行
不像：
- ElevenLabs（雲端）
- PlayHT（雲端）
VoxCPM：
✅ 無需上傳聲音
✅ 不怕資料外洩
✅ 無 API 費用
⚙️ 安裝教學（本地部署）
📦 硬體需求（建議）
- GPU：RTX 3060 以上（最佳）
- RAM：16GB+
- OS：Ubuntu / Windows（WSL）
🧩 Step 1：下載專案
官方 Repo👇
👉 VoxCPM GitHub repository
🧩 Step 2：安裝環境
🧩 Step 3：下載模型
依照 repo 指示下載：
🧩 Step 4：執行推理
🧩 Step 5：使用WEBUI
# WebUI
python lora_ft_webui.py # http://localhost:7860
🧠 進階玩法（你可以做什麼）
💰 商業應用
- AI 配音 SaaS
- 有聲書生成平台
- YouTube 自動旁白
🧪 高階玩法
- 聲音角色庫（多人 voice profile）
- Telegram 語音 Bot
- 客製客服語音
⚠️ 注意事項（很重要）
⚙️ 技術限制
🆚 VoxCPM vs 其他 TTS
| 工具 | 本地 | 聲音克隆 | 方言 | 成本 |
|---|
| VoxCPM | ✅ | ✅ | ✅ | 免費 |
| ElevenLabs | ❌ | ✅ | 普通 | $$$ |
| PlayHT | ❌ | ✅ | 普通 | $$$ |
👉 結論：
本地部署 = VoxCPM 完勝
參考資料
官方網站
移除背景聲音工具(UVR5)
by Rain Chu | 4 月 18, 2026 | AI, Hermes
🧠 Hermes Agent 是什麼？
Hermes Agent 是由 Nous Research 推出的開源 AI Agent 框架，具備：
- 🔁 跨對話記憶（Memory）
- 🧠 技能（Skill）可持續累積
- 🌐 內建網頁瀏覽與工具調用
- ⏱️ 任務排程（Cron-like）
- 🔌 OpenAI 相容 API（可接各種 LLM）
👉 本質上，它不是單純聊天機器人，而是「可執行任務的 AI 系統」
🖥️ Hermes WebUI（Dashboard）帶來什麼改變？
1️⃣ 從 CLI → GUI 的巨大轉變
過去：
- OpenClaw / Agent 系統 → CLI + config + prompt
現在：
- Hermes WebUI → 點擊操作 + 視覺化管理
👉 這是 AI Agent 商業化的關鍵一步
2️⃣ 多 Agent 管理（未來 SaaS 核心）
透過 WebUI，可以：
- 管理多個 Agent
- 設定不同任務流程
- 控制記憶與技能
👉 這意味著：
👉 你可以做「多人 AI 平台」
3️⃣ 技能（Skill）可視化
Hermes 最大亮點：
任務會被記錄成「技能」，並可重複使用
例如：
👉 這其實就是：
👉 AI workflow engine（未來企業標準）
Hermes 實作
先更新到最新版本
然後就可以直接啟用 hermes webui
之後就可以用瀏覽器使用，預設是 http://localhost:9119/
🔍 Hermes WebUI 深度觀察（關鍵洞察）
💡 與 Open WebUI 深度整合
在社群中有人指出：
Hermes 可以當成「有狀態的 LLM endpoint」
意思是：
- WebUI（前端）
- Hermes（Agent）
- LLM（模型）
👉 三層架構：
User → WebUI → Hermes Agent → LL
「Hermes 開箱就像調教一週的 OpenClaw」
官方資訊
https://docs.openwebui.com/getting-started/quick-start/connect-an-agent/hermes-agent
第三方套件
https://github.com/nesquena/hermes-webui
近期留言