by Rain Chu | 5 月 13, 2026 | AI, Ollama, 模型
最新的 Qwen 3.6，在 Ollama 上的表現，可以說是目前「本地 Coding 模型」中非常強勢的一個系列。
如果你正在使用：
- NVIDIA Spark
- RTX 顯卡
- Ollama
- OpenWebUI
- Continue
- Claude Code
- OpenHands
- Hermes Agent
- Cursor 類工具
- Apple
那麼 Qwen 3.6 幾乎一定值得研究。
這篇文章會完整解析：
- Qwen 3.6 每個版本差異
- 27B 與 35B 的差異
- MXFP8、NVFP4、BF16 是什麼
- 哪個最適合寫程式
- NVIDIA Spark 最推薦的配置
- Ollama 部署建議
- 多人 SaaS / AI Agent 最佳實務
什麼是 Qwen 3.6？
Qwen 是阿里巴巴推出的大型語言模型（LLM）系列。
最新的 Qwen 3.6，官方特別強調：
- Agentic Coding
- Repository-level Reasoning
- 長 Context 推理
- Thinking Preservation
也就是說：
它不只是會寫程式，而是開始能理解「整個專案」。
根據官方與 Ollama 頁面資訊，Qwen 3.6 在以下方面有明顯提升：
- 前端工作流理解
- 多檔案推理
- AI Agent Tool Calling
- 長上下文理解
- 歷史推理保留
- Repository 級別程式分析
為什麼 Qwen 3.6 很適合 Ollama？
Qwen 3.6 最大特色之一：
就是對本地部署非常友善。
目前 Ollama 已提供大量版本：
- 27B
- 35B-A3B
- Coding 版本
- Vision 版本
- MXFP8
- NVFP4
- BF16
- MLX
而且幾乎都支援：
- 256K Context
- 長文本推理
- 本地 AI Agent
- Coding Workflow
Qwen 3.6 各版本意思解析
qwen3.6:latest
這是官方最新預設版本。
特色：
適合：
但：
不是最強的 Coding 版本。
qwen3.6:27b
27B = 270億參數。
這是目前非常熱門的甜蜜點。
優點：
- Coding 能力很強
- 推理速度快
- VRAM 壓力較低
- 多人共享容易
非常適合：
- Continue
- Claude Code
- VSCode AI
- Agent Workflow
- 本地 Copilot
qwen3.6:35b
35B = 350億參數。
這類模型：
推理能力更強。
尤其在：
- 大型專案理解
- 架構設計
- Refactor
- 多檔案分析
會比 27B 更好。
但缺點：
什麼是 Coding 版本？
例如：
- qwen3.6:27b-coding-mxfp8
- qwen3.6:35b-a3b-coding-nvfp4
這些是：
專門針對寫程式優化的模型。
相較一般聊天模型：
它們更擅長：
- Python
- TypeScript
- Go
- Rust
- Docker
- Shell
- Kubernetes
- Debug
- Refactor
- AI Agent Tool Calling
官方也特別提到：
Qwen 3.6 在 Agentic Coding 與 Repository-level reasoning 上有大幅提升。
MXFP8、NVFP4、BF16 是什麼？
很多人看到：
會很混亂。
其實這些都是：
「量化格式」。
MXFP8
例如：
qwen3.6:27b-coding-mxfp8
這是 NVIDIA 新世代 FP8 格式。
特色：
- 品質高
- VRAM 使用合理
- 推理速度快
- 非常適合 NVIDIA GPU
目前很多人認為：
MXFP8 是本地 AI Coding 的最佳甜蜜點。
尤其適合：
- NVIDIA Spark
- RTX 4090
- RTX 5090
- 多 Agent Workflow
NVFP4
例如：
qwen3.6:27b-coding-nvfp4
這是 NVIDIA 的 4-bit 浮點量化格式。
特色：
但：
推理品質會稍微下降。
比較適合：
- SaaS 平台
- 多人 AI IDE
- 高併發 Agent
目前學術研究也開始針對 NVFP4 做最佳化。
BF16
例如：
qwen3.6:27b-coding-bf16
這幾乎是：
接近原始精度。
優點：
- 品質最高
- reasoning 最穩
- hallucination 較少
缺點：
適合：
MLX 是什麼？
MLX 是 Apple Silicon 專用。
例如：
什麼是 A3B？
例如：
qwen3.6:35b-a3b-coding-mxfp8
這代表：
MoE（Mixture of Experts）架構。
意思是：
模型總參數很大，但每次只啟用部分專家。
優點：
官方指出：
Qwen3.6-35B-A3B 僅啟動約 3B Active Parameters，但依然能超越部分大型 Dense 模型。
NVIDIA Spark 最推薦哪個？
如果你的環境是：
- NVIDIA Spark
- CUDA 13
- 128GB RAM
- Ollama
- OpenWebUI
- Continue
- Claude Code
- OpenHands
那我目前最推薦：
🥇 最推薦：qwen3.6:27b-coding-mxfp8
推薦原因：
- Coding 非常強
- 推理速度快
- VRAM 不容易爆
- Agent 很穩
- 長 Context 表現好
- 本地部署平衡最佳
這是目前真正的：
「Production Sweet Spot」。
🥈 高階推理推薦：qwen3.6:35b-a3b-coding-mxfp8
適合：
- AI Agent
- 大型專案
- 架構設計
- 多 Repo 分析
優點：
- reasoning 更強
- repository 理解更強
- 複雜任務更穩
缺點：
🥉 多人 SaaS 推薦：qwen3.6:27b-coding-nvfp4
適合：
- 多人共享
- SaaS
- AI IDE
- 高併發 Agent
優點：
但：
品質會略低於 MXFP8。
我自己的實戰看法
如果你是：
「真正要拿來工作」。
我目前認為：
Qwen 3.6 已經開始接近：
「本地版 Claude Code」。
尤其：
27B Coding MXFP8。
真的已經非常強。
它最大的優勢不是單純寫程式。
而是：
- 能理解整個 Repo
- 能做 Agent 工作流
- 能做長 Context reasoning
- 能做 Tool Calling
- 能理解大型專案
這跟以前單純「補程式碼」的模型完全不同。
Ollama 部署建議
安裝模型
ollama pull qwen3.6:27b-coding-mxfp8
執行模型
ollama run qwen3.6:27b-coding-mxfp8
開放 API
export OLLAMA_HOST=0.0.0.0:11434
NVIDIA Spark 最佳化建議
建議環境變數：
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_NUM_PARALLEL=4"
Environment="OLLAMA_MAX_LOADED_MODELS=3"
Environment="OLLAMA_MAX_QUEUE=1024"
Environment="OLLAMA_KEEP_ALIVE=-1"
Environment="OLLAMA_FLASH_ATTENTION=1"
Environment="OLLAMA_KV_CACHE_TYPE=q8_0"
Environment="OMP_NUM_THREADS=32"
適合搭配的工具
Qwen 3.6 很適合：
- Continue
- Claude Code
- OpenHands
- Hermes Agent
- OpenWebUI
- Cursor 類工具
- Browser-use
- AI Agent Workflow
結論
如果你現在想打造：
- 本地 AI Coding 環境
- AI Agent 平台
- 多人 AI IDE
- 本地 Claude Code
- Ollama SaaS
那麼：
Qwen 3.6 幾乎是目前最值得研究的一條路。
尤其：
qwen3.6:27b-coding-mxfp8
我認為：
這是目前 NVIDIA Spark 上：
最平衡、最實用、最值得長期使用的本地 Coding 模型之一。
參考資料
by Rain Chu | 4 月 24, 2026 | Agent, AI, Microsoft, Tool
在 AI 時代，「讓 AI 看懂文件」變成一個非常關鍵的能力，但現實世界的資料格式五花八門，從 PDF、Word 到 PPT、甚至影片與音訊，這些內容對 AI 來說其實並不好直接處理。
這時候，MarkItDown 就成為一把真正的「文件瑞士刀」。
由 Microsoft 開源推出，MarkItDown 能將各種格式的檔案，一鍵轉換成乾淨、結構化、AI 友善的 Markdown，讓 ChatGPT、Claude 或各種 AI Agent 能輕鬆理解與分析。
你只要把 https://github.com/microsoft/markitdown 網址貼給 agent ，請他安裝就可以了
🚀 為什麼 MarkItDown 這麼強？
MarkItDown 最大的優勢只有一句話：
👉 幾乎什麼格式都能轉，而且還轉得漂亮
📂 支援格式（強到誇張）
🧾 辦公文件
- PDF
- Word（DOCX）
- PowerPoint（PPTX）
- Excel（XLSX / XLS）
🌐 網頁內容
🖼️ 影像檔
- JPG / PNG
- 支援 OCR 文字辨識
- 可搭配 AI 產生圖片描述
🎧 音訊檔
- WAV / MP3
- 自動語音轉文字（Speech-to-Text）
📊 資料格式
📦 其他進階格式
- ZIP（自動解壓並轉換）
- Outlook 郵件
- YouTube（自動擷取字幕）
- EPub 電子書
✨ 不只是轉檔，而是「結構理解」
很多轉檔工具的問題是：
👉 轉出來變成一坨純文字（完全不能用）
但 MarkItDown 不一樣，它會：
- 保留標題層級（# ## ###）
- 還原表格結構
- 保留清單與段落
- 維持超連結
👉 轉出來就是 AI 可以直接理解的 Markdown 結構
這對以下應用非常關鍵：
- RAG（檢索增強生成）
- AI 文件摘要
- Agent 自動閱讀文件
⚡ 安裝與使用（超簡單）
安裝
pip install "markitdown[all]"
👉 如果只需要特定格式：
pip install "markitdown[pdf,docx,pptx]"
CLI 使用
markitdown 報告.pdf -o 報告.md
Python 使用
from markitdown import MarkItDownmd = MarkItDown()
result = md.convert("文件.docx")print(result.markdown)
👉 幾行程式碼就搞定
🤖 搭配 AI：威力直接翻倍
MarkItDown 真正強的地方，是它「原生為 AI 設計」。
🧠 AI 圖片理解
- 可串接 OpenAI 視覺模型
- 自動產生圖片描述
- 讓 AI 看懂圖片內容
🔍 OCR 文字辨識
- 整合 Azure Document Intelligence
- 可讀取掃描 PDF / 圖片文字
🔌 MCP（Model Context Protocol）整合
- 可直接接入 Claude Desktop
- 或各種 AI Agent 系統
👉 這點對在做 AI Agent / LangChain / 自動化流程 特別重要
🧩 外掛系統
📌 實際應用場景
1️⃣ 餵 AI 吃文件（超省 Token）
👉 先轉 Markdown，再丟 AI
效果：
- Token 減少最多可達 80%
- AI 理解更準確
2️⃣ 建構企業知識庫（RAG）
流程：
文件 → MarkItDown → Markdown → Embedding → Vector DB
👉 完整 AI 知識庫 pipeline
3️⃣ AI Agent 文件閱讀能力
在你的 Agent 流程中加入：
文件 → MarkItDown → LLM 分析
👉 Agent 直接具備「讀文件能力」
4️⃣ 會議紀錄自動化
錄音 → 轉文字 → Markdown → AI整理
👉 自動產出結構化會議紀錄
⚠️ 不是萬能
MarkItDown 雖然強，但有幾個限制：
- 複雜圖表（Chart / Graph）解析較弱
- 高度排版文件可能失真
- 不適合做「高保真排版還原」
👉 如果你要的是「完美排版還原」
建議用：
👉 Pandoc
👉 如果你要的是「讓 AI 看懂」
👉 MarkItDown 完勝
🧠 結論：AI 時代的文件標準工具
MarkItDown 解決了一個非常關鍵但常被忽略的問題：
👉 AI 看不懂文件格式
它的價值在於：
- ✅ 超廣格式支援
- ✅ 保留結構（不是純文字）
- ✅ 原生為 AI 設計
- ✅ 可整合 Agent / RAG / 自動化流程
- ✅ 免費開源
👉 如果你正在做：
- AI Agent
- 文件分析
- 自動化流程
- 知識庫建構
MarkItDown 是 AI Agent 必裝工具。
by Rain Chu | 4 月 18, 2026 | AI, 語音合成
🧠 什麼是 VoxCPM？
VoxCPM 是由 OpenBMB 推出的新一代語音生成模型，主打：
👉 超低樣本聲音克隆（只需5秒）
👉 完全本地運行（無需雲端）
👉 多語言＋多方言支持（30+）
簡單講一句話：
👉 它就是「語音界的 Stable Diffusion」
🚀 核心特色
🎙️ 1️⃣ 極致聲音複製（5秒搞定）
只需要一段短短語音（約5秒）：
👉 幾乎達到「真人等級」
🎚️ 2️⃣ 專業播音員等級輸出
生成語音具備：
- 清晰度高（接近錄音室品質）
- 節奏自然
- 可長文本生成（Podcast / 有聲書）
👉 可直接商用（需注意授權）
🌏 3️⃣ 多語言＋方言（重點）
支援：
- 中文（普通話）
- 台語（閩南語）
- 廣東話
- 四川話
- 英文 / 日文 / 韓文 等
👉 這點直接屌打很多 TTS 工具
🔒 4️⃣ 完全本地運行
不像：
- ElevenLabs（雲端）
- PlayHT（雲端）
VoxCPM：
✅ 無需上傳聲音
✅ 不怕資料外洩
✅ 無 API 費用
⚙️ 安裝教學（本地部署）
📦 硬體需求（建議）
- GPU：RTX 3060 以上（最佳）
- RAM：16GB+
- OS：Ubuntu / Windows（WSL）
🧩 Step 1：下載專案
官方 Repo👇
👉 VoxCPM GitHub repository
🧩 Step 2：安裝環境
🧩 Step 3：下載模型
依照 repo 指示下載：
🧩 Step 4：執行推理
🧩 Step 5：使用WEBUI
# WebUI
python lora_ft_webui.py # http://localhost:7860
🧠 進階玩法（你可以做什麼）
💰 商業應用
- AI 配音 SaaS
- 有聲書生成平台
- YouTube 自動旁白
🧪 高階玩法
- 聲音角色庫（多人 voice profile）
- Telegram 語音 Bot
- 客製客服語音
⚠️ 注意事項（很重要）
⚙️ 技術限制
🆚 VoxCPM vs 其他 TTS
| 工具 | 本地 | 聲音克隆 | 方言 | 成本 |
|---|
| VoxCPM | ✅ | ✅ | ✅ | 免費 |
| ElevenLabs | ❌ | ✅ | 普通 | $$$ |
| PlayHT | ❌ | ✅ | 普通 | $$$ |
👉 結論：
本地部署 = VoxCPM 完勝
參考資料
官方網站
移除背景聲音工具(UVR5)
by Rain Chu | 4 月 18, 2026 | AI, Hermes
🧠 Hermes Agent 是什麼？
Hermes Agent 是由 Nous Research 推出的開源 AI Agent 框架，具備：
- 🔁 跨對話記憶（Memory）
- 🧠 技能（Skill）可持續累積
- 🌐 內建網頁瀏覽與工具調用
- ⏱️ 任務排程（Cron-like）
- 🔌 OpenAI 相容 API（可接各種 LLM）
👉 本質上，它不是單純聊天機器人，而是「可執行任務的 AI 系統」
🖥️ Hermes WebUI（Dashboard）帶來什麼改變？
1️⃣ 從 CLI → GUI 的巨大轉變
過去：
- OpenClaw / Agent 系統 → CLI + config + prompt
現在：
- Hermes WebUI → 點擊操作 + 視覺化管理
👉 這是 AI Agent 商業化的關鍵一步
2️⃣ 多 Agent 管理（未來 SaaS 核心）
透過 WebUI，可以：
- 管理多個 Agent
- 設定不同任務流程
- 控制記憶與技能
👉 這意味著：
👉 你可以做「多人 AI 平台」
3️⃣ 技能（Skill）可視化
Hermes 最大亮點：
任務會被記錄成「技能」，並可重複使用
例如：
👉 這其實就是：
👉 AI workflow engine（未來企業標準）
Hermes 實作
先更新到最新版本
然後就可以直接啟用 hermes webui
之後就可以用瀏覽器使用，預設是 http://localhost:9119/
🔍 Hermes WebUI 深度觀察（關鍵洞察）
💡 與 Open WebUI 深度整合
在社群中有人指出：
Hermes 可以當成「有狀態的 LLM endpoint」
意思是：
- WebUI（前端）
- Hermes（Agent）
- LLM（模型）
👉 三層架構：
User → WebUI → Hermes Agent → LL
「Hermes 開箱就像調教一週的 OpenClaw」
官方資訊
https://docs.openwebui.com/getting-started/quick-start/connect-an-agent/hermes-agent
第三方套件
https://github.com/nesquena/hermes-webui
by Rain Chu | 4 月 14, 2026 | AI, google, 模型
在 AI 模型快速演進的時代，由 Google 推出的 Gemma 系列模型 一直備受關注，但對許多進階開發者來說，官方版本的限制（安全策略、回應過濾）往往成為發揮模型潛力的瓶頸，有了越獄版本，模型就再也不會回答你說「這個問題我不能回答了」。
這篇文章將帶你深入了解——
👉 越獄版本 Gemma 4（Gemma-4-31B-JANG_4M-CRACK）是什麼？
👉 它如何突破限制？是否值得使用？
👉 在本地 AI 架構（如 Ollama）中的實戰價值
🧠 什麼是 Gemma 4 越獄版？
所謂「越獄版」或「Crack 版」，指的是：
👉 移除或弱化模型原本的安全限制（alignment / guardrails）
這個版本來自 Hugging Face 上的開源模型：
👉 Hugging Face 社群釋出的
Gemma-4-31B-JANG_4M-CRACK
並可透過：
👉 Ollama 直接部署本地推論
⚙️ 越獄版 vs 官方版差異
| 項目 | 官方 Gemma 4 | 越獄版 Gemma 4 |
|---|
| 安全限制 | 高（嚴格過濾） | 低（大幅放寬） |
| 回答自由度 | 中 | 非常高 |
| 敏感內容處理 | 拒答或模糊 | 直接回答 |
| 適合用途 | 商業應用 | 研究 / 測試 / 私有 AI |
| 風險 | 低 | 高 |
💣 為什麼有人需要「越獄模型」？
對你這種在做 AI Agent / 本地 LLM 架構的人來說，關鍵原因只有一個：
👉「控制權」
1️⃣ 做 AI Agent（LangChain / AutoGen）
👉 尤其是：
🧪 越獄版的核心改動（技術面）
這類模型通常做了以下處理：
🔹 1. 去除 RLHF 對齊限制
🔹 2. 訓練資料調整（JANG_4M）
- 加入大量 unrestricted instruction data
- 強化「服從 prompt」能力
🔹 3. Prompt Injection 抗性降低
👉 反而變成「完全服從」
🚀 在 Ollama 中部署
你可以直接用：
ollama run SiliconBasedWorld/Gemma-4-31B-JANG_4M-CRACK
⚠️ 建議設定（for 128G）
export OLLAMA_NUM_PARALLEL=4
export OLLAMA_MAX_LOADED_MODELS=3
export OLLAMA_KEEP_ALIVE=-1
export OLLAMA_FLASH_ATTENTION=1
Hermes Agent 完整實測：自我進化 AI Agent 架構，全面取代 OpenClaw！ – 雨
近期留言