by Rain Chu 7 月 8, 2026 | Agent , AI , 語音合成 , 語音辨識
Hugging Face 的 speech-to-speech 真正有趣的地方，不只是「本地 AI 語音聊天」這句話，而是它把即時語音 Agent 拆成一條清楚的工程管線：VAD 偵測你什麼時候開始和結束說話，STT 把語音轉成文字，LLM 產生回應，TTS 再把文字變回聲音。
這條路線的價值很直覺：如果你不想把麥克風聲音、私人對話、公司資料一路送到雲端，那就把語音 Agent 搬回自己的機器。代價也很明顯：你要處理 Python、FFmpeg、CUDA、模型下載、本地 LLM server、TTS 後端、瀏覽器端 WebSocket。這不是「安裝一個 App 就結束」的工具。
如果你之前看過 VoxelCPM 本地 TTS ，這篇可以當成下一步：TTS 只是讓 AI 開口，speech-to-speech 則是把「聽、想、說」接成一個即時循環。
先講結論：它不是語音模型，而是一條可替換的語音 Agent 管線
huggingface/speech-to-speech 的 README 把架構講得很清楚：這是一條低延遲、模組化的 voice-agent pipeline，順序是 VAD → STT → LLM → TTS，並且透過 OpenAI Realtime-compatible WebSocket API 對外提供服務。
也就是說，你可以把支援 OpenAI Realtime 協議的 client 指到本機 server。
這個設計比單純做一個 demo 更有意思，因為每一段都能換。
STT 可以用 Parakeet、Whisper、Faster Whisper、MLX Whisper 或 Paraformer；LLM 可以接 OpenAI-compatible provider，也可以接 vLLM、llama.cpp、llama-server；TTS 可以用 Qwen3-TTS、Kokoro、Pocket TTS、ChatTTS 或 MMS TTS。
換句話說，它的重點不是某個模型最強，而是把語音 Agent 做成可插拔架構。
這和 OpenWork / OpenCode 工作台 的方向有點像：真正可長期使用的 AI 工具，不應該只綁死在單一供應商或單一模型。
Speech-to-speech 和傳統語音翻譯有什麼差別？
Hugging Face Audio Course 裡對 speech-to-speech translation 的說明很適合拿來釐清概念。
傳統機器翻譯是文字到文字，speech-to-speech 則是語音到語音。最常見的做法是串接：先把語音轉成文字，再做翻譯或生成，最後合成語音。
它也提醒一個很重要的問題：管線越長，錯誤越會累積，延遲也越高。
ASR 認錯一個字，後面的 LLM 可能照著錯字理解；LLM 回答太長，TTS 就要等更久；TTS 聲音不自然，最後體驗還是會掉下來。
所以本地即時語音 Agent 的關鍵不是只看「能不能講話」，而是看四件事：
語音辨識是不是準，尤其是中文、口音、背景噪音。
LLM 回應是不是夠快，不要讓人等到出戲。
TTS 聲音是不是自然，長時間聽會不會疲勞。
整條管線的延遲是不是穩定，而不是偶爾順、偶爾卡。
官方預設路線：先跑起 realtime server
官方 quickstart 很短：
pip install speech-to-speech
export OPENAI_API_KEY=...
speech-to-speech ws://localhost:8765/v1/realtime
預設路線會用本地 STT、本地 TTS，再把 LLM 接到 OpenAI-compatible API。你如果想讓 LLM 也留在本機，可以用 llama.cpp 啟動本地模型 server，再把 `responses_api_base_url` 指到本機。
speech-to-speech \
--model_name "ggml-org/gemma-4-E4B-it-GGUF" \
--responses_api_base_url "http://127.0.0.1:8080/v1" \
--responses_api_api_key "" Ollama 遠端連線 和本地 OpenAI-compatible server 的設定很重要：語音只是入口，真正回答問題的是後面的 LLM。Windows 實作路線：不是難，是零件很多
核心流程可以簡化成這樣：
裝 Python 3.11、Git、FFmpeg。
建立 `C:\s2s` 之類的資料夾，開 venv。
安裝 `speech-to-speech`。
用 llama.cpp 跑本地 Qwen 模型，開在 `http://127.0.0.1:8080/v1`。
啟動 speech-to-speech，把 STT 指到 Whisper、LLM 指到本地 server、TTS 指到 Qwen3-TTS。
開網頁 client，WebSocket 指到 `localhost:8765`。
這裡最容易踩坑的是 FFmpeg 和 winget。留言裡有人遇到 `winget` 找不到，這通常代表 Windows App Installer / winget 沒裝好，或 PowerShell 環境找不到它。這時候不要卡在同一條命令，可以改成手動下載 FFmpeg，或先修好 winget，再重新開 PowerShell。
架構表：每一段都可以替換，但每一段也都會出事
階段 作用 常見選擇 容易卡住的地方 VAD 判斷使用者何時開始/停止說話 Silero VAD 背景噪音、切句太早或太晚 STT 語音轉文字 Parakeet、Whisper、Faster Whisper 中文辨識、口音、GPU/CPU 速度 LLM 理解問題並產生回應 OpenAI-compatible API、llama.cpp、vLLM、Ollama 類服務 延遲、上下文長度、模型能力 TTS 文字轉語音 Qwen3-TTS、Kokoro、Pocket TTS、ChatTTS 聲音自然度、CUDA wheel、中文品質 Client 麥克風輸入與播放 Realtime WebSocket client、網頁呼吸球介面 瀏覽器權限、WebSocket 位置、服務啟動順序
這張表就是我對本地語音 Agent 的看法：模組化很香，但你不能只看成功 demo 任一段延遲太高、模型太大、依賴裝錯、WebSocket 指錯，都會讓整體體驗掉下來。
4GB 顯存、4090、CPU：期待值要分開看
如果你只是想體驗，本地小模型加 CPU/GPU 混跑可以試；如果你想每天使用，就要認真看顯卡、VRAM、記憶體、模型大小與量化格式。這部分可以搭配 AI 工作站顯卡選購 那篇看，因為語音 Agent 不是只吃一個模型，而是一整條 pipeline。
本地部署值不值得？
安裝太複雜、Python 依賴一直重裝、免費雲端語音也能用、中文場景不一定比微信等現成工具舒服。
我會這樣判斷：
如果你只想偶爾語音聊天 ，雲端 App 更省事。如果你在意隱私、離線、可控模型 ，本地 speech-to-speech 才有意義。如果你要接自己的 Agent 或自動化流程 ，OpenAI Realtime 相容 API 很有價值。如果你不想處理依賴 ，等整合包或 Docker / 一鍵腳本會比較舒服。
有留言建議做整合包，把 Python、虛擬環境、依賴、模型檔都打包好。這個方向很務實。語音 Agent 要走向一般使用者，最重要的可能不是模型再強一點，而是安裝流程少掉一半。
接進 Hermes、OpenWork 或自己的 Agent：語音只是入口
有人問如果部署在 Hermes 裡，是不是就不用打字了。方向是對的，但要分清楚：speech-to-speech 解決的是語音輸入與語音輸出，Agent 真正能不能工作，還要看後面的工具調用、上下文、記憶、權限與任務執行。
也就是說，語音不是 Agent 的全部，只是更自然的控制入口。你可以想像之後用語音叫本地 Agent 幫你查資料、改檔案、跑腳本、操作工作流，但這需要像 OpenWork 或 Hermes Agent 這類工作台或 runtime 來承接任務。
真正有用的組合會是：speech-to-speech 負責「聽和說」，Agent runtime 負責「做事」，本地 LLM / 工具 / MCP 負責「連到你的資料和系統」。語音只是讓人更容易下指令，不能替代完整的任務架構。
資源整理
本地即時語音 Agent 很香，但現在還偏工程師玩具
speech-to-speech 讓本地語音 Agent 的架構變得很清楚：你可以把 VAD、STT、LLM、TTS 串起來，對外提供 OpenAI Realtime 相容 API，再用網頁或其他 client 連進來。這條路很有想像空間，尤其適合隱私敏感、離線使用、機器人、客服、語言練習、自建 AI 助手。
但我不會把它包裝成人人都該裝。現階段它還需要處理太多環境問題，Windows 下尤其明顯。真正適合的人，是願意花時間把本地模型、音訊依賴、GPU、WebSocket 和 Agent runtime 串起來的人。
一句話總結：本地即時語音不是為了取代手機上的語音助手，而是為了把「能聽、能想、能說」這個入口，接到你自己的模型、資料和工作流上。這件事如果跑順，會比單純聊天更有價值。
FAQ
speech-to-speech 是什麼？
speech-to-speech 是 Hugging Face 的開源語音 Agent 管線，透過 VAD、STT、LLM、TTS 四個階段，把使用者語音轉成模型回應，再合成語音輸出。
它可以完全本地運行嗎？
可以，但需要把 STT、LLM、TTS 都換成本地後端，例如 Whisper、llama.cpp 或其他 OpenAI-compatible 本地 LLM server，以及 Qwen3-TTS 等本地語音合成模型。
為什麼不用雲端語音助手就好？
如果只是日常聊天，雲端語音助手更省事。本地方案的價值在於隱私、離線、可控模型、可接自有資料與 Agent 工作流。
by Rain Chu 7 月 8, 2026 | AI , 影片製作
OpenMontage 最吸引我的地方，不是「一句話自動做完 AI 影片」這種口號，而是它把 AI 影片製作拆成一套比較像真實片廠的工程流程：研究、提案、腳本、分鏡、素材、剪輯、合成、檢查，全部交給 coding agent 去編排。
這件事有意思，因為現在很多 AI 影片工具其實只是在「生成幾段畫面」或「把幾張圖做動」, OpenMontage 的方向不太一樣，它把影片看成一個專案，而不是單一模型輸出, 你可以用生成式素材，也可以走免費素材檢索，也可以讓 Remotion、HyperFrames、FFmpeg、TTS、字幕工具一起工作。
如果你之前看過我寫的 HyperFrames 用 HTML 寫影片 ，OpenMontage 可以理解成更上層的總控：HyperFrames 或 Remotion 是渲染舞台，OpenMontage 則負責決定要演哪一齣、需要哪些素材、哪個管線比較適合。
先講結論：它不是單一工具，而是一套 agentic video workflow
OpenMontage 官方把它定位成 open-source agentic video production system。
這句話翻成白話就是：你不是打開一個剪輯軟體慢慢拉時間軸，而是把需求丟給 AI coding assistant，讓它在專案裡呼叫一串工具，最後產出可渲染的影片專案。
它目前主打 12 條 production pipelines、52 個 production tools、數百個 agent skills。這些數字先不用神化，真正重要的是架構：OpenMontage 把「做影片」拆成管線選擇問題。要做動畫解說、紀錄片蒙太奇、動態文字、產品廣告、Podcast repurpose、字幕翻譯，走的流程不應該一樣。
這也很符合我對 AI Agent 的看法。真正能落地的 Agent，不是一直聊天，而是能選工具、讀檔、跑命令、檢查輸出、失敗後改路線。這點跟我前面整理過的 Ornith 35B 與 Hermes 工作流 是同一個方向：模型不是主角，流程控制才是主角。
本地部署的基本盤：Python、Node、FFmpeg，再加一個 AI coding assistant
OpenMontage 的安裝門檻不算低，但也沒有到很誇張。官方 README 的 Quick Start 是：
git clone https://github.com/calesthio/OpenMontage.git
cd OpenMontage
make setup 如果是在 Windows 環境，配套筆記把步驟拆得更實際：先裝 Git、Python 3.11、Node.js；建立 venv；安裝 Python requirements；進 remotion-composer 跑 npm install；再預熱 HyperFrames。簡化後大概是這樣：
git clone https://github.com/calesthio/OpenMontage
cd OpenMontage
python -m venv venv
venv\Scripts\activate
python -m pip install -r requirements.txt
cd remotion-composer
npm install
cd ..
npx --yes hyperframes --version OpenMontage 不是只有 Python 腳本，它會用 Remotion 做 React 影片渲染，也會用 HyperFrames 做 HTML/GSAP 類型的動態文字與 motion graphics，也就是說，它本質上是一個跨 Python、Node、前端渲染、影音處理的混合專案。
如果你本來就在研究 AI 影片生成模型，可以延伸看 Wan 2.1 的整理 ，OpenMontage 不是要取代這些模型，而是把模型、素材庫、TTS、剪輯和渲染器放進同一條可控流程。
零 API Key 可以玩，但不要把零成本理解錯
OpenMontage 官方 README 有一段很重要：沒有付費 API key 也能做東西。它可以用 Piper TTS、本地字幕、FFmpeg、Remotion、HyperFrames，以及 Archive.org、NASA、Wikimedia Commons 這類開放素材來源，配套筆記則建議本地中文配音可以接 dots.tts，走 OpenAI 相容的本地 API 服務。
但我會把這件事講精準一點：零 API Key 不等於零成本。你省下的是雲端生成 API 的帳單，但仍然有時間成本、硬碟成本、顯卡成本、網路下載成本，以及 Agent 跑錯路線後的重跑成本。
比較正確的理解是：OpenMontage 讓你有機會把成本從「每次生成都付費」改成「本地工具與免費素材優先，必要時才接付費 provider」。這也是我喜歡本地 AI 工作流的原因，重點不是假裝不用花錢，而是你可以決定錢花在哪裡。
如果你對本地 TTS 有興趣，可以接著看 VoxelCPM 本地 TTS 與離線部署 。OpenMontage 這類工具能不能舒服使用，中文配音品質其實會大幅影響成品觀感。
三條路線：生成類、檢索類、動態文字類
真正開始用 OpenMontage 時，我覺得要先把題目分成三種，不要一律丟給同一條管線。
生成類 ：適合知識動畫、概念解釋、抽象主題。重點是腳本、旁白、視覺生成與字幕。檢索類 ：適合森林、海浪、城市、科技感、自然景觀這種通用氛圍題。重點是免費素材庫與剪輯節奏。動態文字類 ：適合頻道預告、產品短片、宣傳片、資訊卡。重點是排版、節奏、字卡與音樂。
這裡最大的坑是「題目和管線不匹配」。例如你想做歷史事件、特定人物、某次火箭發射、某個實驗室場景，免費素材庫不一定找得到精準畫面。這種題目硬走檢索管線，很容易找到一堆氣氛接近但內容對不上的 B-roll。
相反地，如果題目是「地球的呼吸」「雨夜城市」「森林甦醒」這類氛圍型主題，檢索管線就很適合。因為它不需要某個唯一正確鏡頭，只要找到情緒與節奏對的真實素材，就能剪成一支完整作品。
這點也可以和 OiiOii 動畫分鏡工作流 放在一起看。AI 影片的關鍵不只是模型，而是你能不能在生成前就把「題目、鏡頭、節奏、素材來源」講清楚。
OpenMontage 最值得記下來的 6 個坑
這次配套筆記最有價值的地方，是把幾個踩坑點寫得很直接。我整理成實作時應該先記在旁邊的清單。
不要亂加逐詞字幕。 動畫解說如果要求逐字、逐詞字幕，切詞可能會很碎。普通字幕反而比較乾淨。檢索管線要避開大規模 corpus builder。 直接把 NASA、Archive.org 整段抓下來建語料庫，很容易下載失控。快速路線是 direct_clip_search，只用 Pexels / Pixabay，720p，限制槽位。不要讓 Agent 自己亂翻中文搜尋詞。 檢索素材時，最好把每個鏡頭先翻成 5 個字以內的英文短語，例如 misty forest valley、ocean waves、city rain night。提示詞會影響管線選擇。 如果你寫「科普、旁白、TTS、中文字幕」，系統很可能走 animated-explainer；如果你要真實素材蒙太奇，就要明確寫 documentary montage、real footage only、direct_clip_search、no narration。8GB 顯卡不適合硬衝本地影片生成。 能塞進去的模型選擇有限，還要 CPU offload，最後可能等很久只得到短短幾秒低解析片段。免費素材路線適合通用題，不適合特定命名物。 森林、城市、海浪很好找；某個具名歷史場景或特定設備就不要硬搜。
OpenMontage 現階段最合理的期待值：可以跑通，可以做出東西，但要用對題目、用對管線、不要期待它第一次就像成熟商業剪輯工具。
我會怎麼下 prompt：先鎖管線，再鎖素材來源
OpenMontage 不是越自由越好用。你如果只寫「幫我做一支很酷的 AI 影片」，Agent 會需要猜太多東西：要不要旁白？要不要真實素材？要不要生成圖片？要不要字幕？要用 Remotion 還是 HyperFrames？
比較穩的 prompt 應該長這樣：
製作一支 60 秒紀錄片蒙太奇，主題是「地球的呼吸」。
管線：documentary-montage。
素材：只用真實素材，只從 Pexels / Pixabay 搜尋，走 direct_clip_search，不要 Archive.org，不要 NASA，不要 corpus_builder。
音訊：不要旁白，只放背景音樂。
畫面：720p，10 個素材槽位。
搜尋詞：每個槽位用我給的英文短語，不要自行改寫。
輸出：Remotion 渲染，三段中文畫面文字卡，淡入淡出。 如果要做動態文字宣傳片，就要反過來鎖死：不要檢索、不要生成圖片、全部用程序化排版文字、渲染引擎用 HyperFrames/GSAP。這樣 Agent 才不會跑去找素材，或突然把簡單字卡做成一堆不必要的生成圖。
這也是我覺得 OpenMontage 適合搭配 Codex 這類 coding interface 的原因。它需要的是能讀專案、跑命令、改檔案、看錯誤、重新執行的環境，不只是單純聊天介面。
8GB 顯卡可以玩嗎？可以，但不要從本地影片生成開始
本地影片生成性價比偏低，Wan2.1-1.3B 這類模型可以勉強塞，但要開 CPU offload；輸出通常短、解析度不高，等待時間也不短。圖生影片若不小心切到更大的 14B 模型，8GB 顯卡直接爆掉也不奇怪。
所以如果你的硬體只有 8GB VRAM，我會建議先走三條比較務實的路：
用免費素材庫做真實素材蒙太奇。
用 Remotion / HyperFrames 做程序化動畫與動態文字。
把本地 TTS、字幕、剪輯、自動化流程先跑順。
等流程穩了，再評估要不要加付費 API 或升級硬體，如果你正在考慮 AI 工作站，RTX PRO 6000 Blackwell 顯卡選購 那篇可以搭配看，OpenMontage 這種工作流很吃「整體系統」，不只是顯卡型號而已。
適合願意把影片當工程專案的人
OpenMontage 現在比較適合三種人。
第一種是技術型創作者 ：你願意看 log、改 prompt、裝依賴、調管線，OpenMontage 會給你很大的控制權。第二種是想把內容流程自動化的人： 例如固定產出知識動畫、短片、宣傳片、字幕版本，這套管線可以慢慢沉澱成自己的模板。第三種是正在研究 AI Agent 的人： OpenMontage 很適合觀察 Agent 如何做工具選擇、階段驗證、失敗重試與輸出檢查。
但如果你期待的是「打一句話、三分鐘後給我商業級成片」，它目前不會是最好的選擇，它更像一個正在快速演化的開源片廠骨架，需要你願意進去調教。
資源與安全連結整理
OpenMontage 的價值在「可編排」，不是魔法
我會把 OpenMontage 看成 AI 影片製作的 agentic framework，而不是一個單純的 AI 影片生成器。它真正有價值的地方，是把影片製作拆成可選管線、可替換工具、可檢查輸出的流程。
它現在最適合的打法，是先從零 API Key 或低成本路線開始：本地 TTS、免費素材庫、Remotion、HyperFrames、FFmpeg，等流程跑通，再依照題目決定要不要加 Veo、Kling、FLUX、OpenAI TTS 或其他 provider。
一句話總結：OpenMontage 不是把創作變成不用思考，而是把創作變成可以被 Agent 執行、被人類審核、被工程流程反覆改進的系統。這條路如果走通，AI 影片工具會從「生成一段畫面」進化成「管理一個製作流程」。
FAQ
OpenMontage 是什麼？
OpenMontage 是一套開源的 agentic video production system，讓 AI coding assistant 透過管線方式處理研究、腳本、素材、剪輯、渲染與檢查，不只是單一影片生成模型。
OpenMontage 可以不用付費 API Key 嗎？
可以。它可以使用本地 TTS、免費素材庫、Remotion、HyperFrames、FFmpeg 等工具先跑出作品。不過零 API Key 不等於零成本，仍然有硬體、時間、下載與維護成本。
OpenMontage 適合用在哪些題目？
通用氛圍類題目適合走真實素材檢索，知識解釋適合走動畫解說，產品或頻道宣傳適合走動態文字。特定歷史事件、具名人物或稀有場景，不適合硬走免費素材檢索。
by Rain Chu 5 月 13, 2026 | AI , Ollama , 模型
最新的 Qwen 3.6，在 Ollama 上的表現，可以說是目前「本地 Coding 模型」中非常強勢的一個系列。
如果你正在使用：
NVIDIA Spark
RTX 顯卡
Ollama
OpenWebUI
Continue
Claude Code
OpenHands
Hermes Agent
Cursor 類工具
Apple
那麼 Qwen 3.6 幾乎一定值得研究。
這篇文章會完整解析：
Qwen 3.6 每個版本差異
27B 與 35B 的差異
MXFP8、NVFP4、BF16 是什麼
哪個最適合寫程式
NVIDIA Spark 最推薦的配置
Ollama 部署建議
多人 SaaS / AI Agent 最佳實務
什麼是 Qwen 3.6？
Qwen 是阿里巴巴推出的大型語言模型（LLM）系列。
最新的 Qwen 3.6，官方特別強調：
Agentic Coding
Repository-level Reasoning
長 Context 推理
Thinking Preservation
也就是說：
它不只是會寫程式，而是開始能理解「整個專案」。
根據官方與 Ollama 頁面資訊，Qwen 3.6 在以下方面有明顯提升：
前端工作流理解
多檔案推理
AI Agent Tool Calling
長上下文理解
歷史推理保留
Repository 級別程式分析
為什麼 Qwen 3.6 很適合 Ollama？
Qwen 3.6 最大特色之一：
就是對本地部署非常友善。
目前 Ollama 已提供大量版本：
27B
35B-A3B
Coding 版本
Vision 版本
MXFP8
NVFP4
BF16
MLX
而且幾乎都支援：
256K Context
長文本推理
本地 AI Agent
Coding Workflow
Qwen 3.6 各版本意思解析
qwen3.6:latest
這是官方最新預設版本。
特色：
適合：
但：
不是最強的 Coding 版本。
qwen3.6:27b
27B = 270億參數。
這是目前非常熱門的甜蜜點。
優點：
Coding 能力很強
推理速度快
VRAM 壓力較低
多人共享容易
非常適合：
Continue
Claude Code
VSCode AI
Agent Workflow
本地 Copilot
qwen3.6:35b
35B = 350億參數。
這類模型：
推理能力更強。
尤其在：
大型專案理解
架構設計
Refactor
多檔案分析
會比 27B 更好。
但缺點：
什麼是 Coding 版本？
例如：
qwen3.6:27b-coding-mxfp8
qwen3.6:35b-a3b-coding-nvfp4
這些是：
專門針對寫程式優化的模型。
相較一般聊天模型：
它們更擅長：
Python
TypeScript
Go
Rust
Docker
Shell
Kubernetes
Debug
Refactor
AI Agent Tool Calling
官方也特別提到：
Qwen 3.6 在 Agentic Coding 與 Repository-level reasoning 上有大幅提升。
MXFP8、NVFP4、BF16 是什麼？
很多人看到：
會很混亂。
其實這些都是：
「量化格式」。
MXFP8
例如：
qwen3.6:27b-coding-mxfp8
這是 NVIDIA 新世代 FP8 格式。
特色：
品質高
VRAM 使用合理
推理速度快
非常適合 NVIDIA GPU
目前很多人認為：
MXFP8 是本地 AI Coding 的最佳甜蜜點。
尤其適合：
NVIDIA Spark
RTX 4090
RTX 5090
多 Agent Workflow
NVFP4
例如：
qwen3.6:27b-coding-nvfp4
這是 NVIDIA 的 4-bit 浮點量化格式。
特色：
但：
推理品質會稍微下降。
比較適合：
SaaS 平台
多人 AI IDE
高併發 Agent
目前學術研究也開始針對 NVFP4 做最佳化。
BF16
例如：
qwen3.6:27b-coding-bf16
這幾乎是：
接近原始精度。
優點：
品質最高
reasoning 最穩
hallucination 較少
缺點：
適合：
MLX 是什麼？
MLX 是 Apple Silicon 專用。
例如：
什麼是 A3B？
例如：
qwen3.6:35b-a3b-coding-mxfp8
這代表：
MoE（Mixture of Experts）架構。
意思是：
模型總參數很大，但每次只啟用部分專家。
優點：
官方指出：
Qwen3.6-35B-A3B 僅啟動約 3B Active Parameters，但依然能超越部分大型 Dense 模型。
NVIDIA Spark 最推薦哪個？
如果你的環境是：
NVIDIA Spark
CUDA 13
128GB RAM
Ollama
OpenWebUI
Continue
Claude Code
OpenHands
那我目前最推薦：
🥇 最推薦：qwen3.6:27b-coding-mxfp8
推薦原因：
Coding 非常強
推理速度快
VRAM 不容易爆
Agent 很穩
長 Context 表現好
本地部署平衡最佳
這是目前真正的：
「Production Sweet Spot」。
🥈 高階推理推薦：qwen3.6:35b-a3b-coding-mxfp8
適合：
AI Agent
大型專案
架構設計
多 Repo 分析
優點：
reasoning 更強
repository 理解更強
複雜任務更穩
缺點：
🥉 多人 SaaS 推薦：qwen3.6:27b-coding-nvfp4
適合：
多人共享
SaaS
AI IDE
高併發 Agent
優點：
但：
品質會略低於 MXFP8。
我自己的實戰看法
如果你是：
「真正要拿來工作」。
我目前認為：
Qwen 3.6 已經開始接近：
「本地版 Claude Code」。
尤其：
27B Coding MXFP8。
真的已經非常強。
它最大的優勢不是單純寫程式。
而是：
能理解整個 Repo
能做 Agent 工作流
能做長 Context reasoning
能做 Tool Calling
能理解大型專案
這跟以前單純「補程式碼」的模型完全不同。
Ollama 部署建議
安裝模型
ollama pull qwen3.6:27b-coding-mxfp8 執行模型
ollama run qwen3.6:27b-coding-mxfp8 開放 API
export OLLAMA_HOST=0.0.0.0:11434 NVIDIA Spark 最佳化建議
建議環境變數：
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_NUM_PARALLEL=4"
Environment="OLLAMA_MAX_LOADED_MODELS=3"
Environment="OLLAMA_MAX_QUEUE=1024"
Environment="OLLAMA_KEEP_ALIVE=-1"
Environment="OLLAMA_FLASH_ATTENTION=1"
Environment="OLLAMA_KV_CACHE_TYPE=q8_0"
Environment="OMP_NUM_THREADS=32" 適合搭配的工具
Qwen 3.6 很適合：
Continue
Claude Code
OpenHands
Hermes Agent
OpenWebUI
Cursor 類工具
Browser-use
AI Agent Workflow
結論
如果你現在想打造：
本地 AI Coding 環境
AI Agent 平台
多人 AI IDE
本地 Claude Code
Ollama SaaS
那麼：
Qwen 3.6 幾乎是目前最值得研究的一條路。
尤其：
qwen3.6:27b-coding-mxfp8
我認為：
這是目前 NVIDIA Spark 上：
最平衡、最實用、最值得長期使用的本地 Coding 模型之一。
參考資料
by Rain Chu 8 月 7, 2025 | 未分類
gpt‑oss 教學，可以在 16 GB 筆電上免費使用 OpenAI 的開源 gpt‑oss‑20B / 120B GPT 模型，2025/8/5 OpenAI 終於推出的 gpt‑oss （包括 gpt‑oss‑20B 與 gpt‑oss‑120B）簡直是福音！這些開源模型支持在具備足夠資源的電腦上離線運行，完全不需要存取 OpenAI 伺服器，既保護資料隱私，又零使用量限制。
GPT‑OSS 模型概覽
gpt‑oss‑120B gpt‑oss‑20B
兩者皆採用 Mixture-of-Experts 架構（MoE），對每個 token 只啟用一部分參數，有效節省記憶體與運算資源。
為什麼它值得推薦？
真·免費 & 無使用限制 ：完全無需訂閱、不計費，也無 API 次數限制。離線運行，資料更安全 ：不連網執行，所有運算都在本地完成，隱私無虞。高效能與實用性並重 ：gpt‑oss‑20B 適合筆電、家庭工作站；gpt‑oss‑120B 則適用於高性能 GPU 主機。
如何開始在本地使用 GPT‑OSS？
以下以 Ollama 為例，快速上手流程：
安裝 Ollama （適用於 Windows / macOS / Linux）。使用指令下載模型：ollama pull gpt‑oss:20b
啟動模型聊天介面：ollama run gpt‑oss:20b
要完全離線，也可在 Ollama 設定中啟用「飛航模式」。
ollama pull gpt‑oss:20b # 適合 16 GB 裝置
ollama pull gpt‑oss:120b # 適用於 GPU ≥ 60 GB 設備
對部分硬體較低端的使用者，也可透過像 llama.cpp 加上 GGUF 精簡版模型運行，建議至少 14 GB 記憶體以獲得流暢回應。
歸納總結
模型版本 適用裝置 模型特性 gpt‑oss‑20B 筆電 / Mac 開發者 約 210 億參數、效能近 o3‑mini gpt‑oss‑120B 高階工作站 / GPU 主機 約 1170 億參數、推理接近 o4‑mini
兩者皆具備開源特性，可離線運行、免費使用、無使用量限制，非常適合自主部署與隱私需求高的專案。此外，也可透過 Hugging Face、Azure、AWS 等多平台取得模型。
同場加映
可以用於 mac mini 建議用 oss-120B 放在 MAC 128G 共同記憶體以上的機器，可以有每秒 40 token
不想買機器的，可以先用 openrouter 或是 Groq
內建有 BrowserUse，Python，MCP
可以控制推理強度
MoE混合推理模型
支援企業級應用 vLLM ，SGLang
可以用於 Agent，微調
原生支援MXFP4，ollama等無須轉換
參考資料
https://github.com/openai/gpt-oss
VIDEO
VIDEO
VIDEO
by Rain Chu 3 月 17, 2025 | AI , Chat , Ollama , 模型
🚀 1. 本地端完美對接 Ollama AI 模型
OpenManus 最大的亮點在於能與目前最流行的 Ollama 本地端 AI 大模型平台進行完美整合。
Ollama 是一個輕量、高效的 AI 模型管理工具，讓你可以輕鬆在自己的電腦上運行各種強大的大模型（如 Llama3、Qwen、DeepSeek 系列模型等）。
OpenManus 透過 Ollama API 與這些模型無縫互動，你能輕易在本地體驗到媲美線上服務的智慧功能，並保護個人隱私。
💻 2. 跨平台支援 Windows、Mac、Linux
無論你使用哪個平台，OpenManus 都有完整的跨平台支援，讓你輕鬆安裝與運行：
Windows 用戶可透過 Conda 或 Docker 快速部署。
macOS 用戶可以使用 Homebrew 或直接透過終端機運行。
Linux 用戶則能自由選擇 Docker 或直接透過原生方式安裝。
🎯 3. 無需邀請碼，即裝即用！
不同於原始封閉的 Manus 需要透過邀請碼才能使用，OpenManus 堅持完全開源與自由的精神。
如何快速部署 OpenManus？（以 Windows 為例）
只需幾個簡單步驟，即可享受本地端 AI 大模型：
建立 Conda 環境：
conda create -n openmanus python=3.12
conda activate openmanus Git OpenManus 專案：
git clone https://github.com/mannaandpoem/OpenManus.git
cd OpenManus 安裝所需依賴：
pip install -r requirements.txt 修改設定檔（config.toml）：
cp config/config.example.toml config/config.toml config.toml的內容如下，可以參考後修改
# Global LLM configuration
#[llm]
# model = "claude-3-7-sonnet-20250219" # The LLM model to use
# base_url = "https://api.anthropic.com/v1/" # API endpoint URL
# api_key = "YOUR_API_KEY" # Your API key
# max_tokens = 8192 # Maximum number of tokens in the response
# temperature = 0.0 # Controls randomness
# [llm] #AZURE OPENAI:
# api_type= 'azure'
# model = "YOUR_MODEL_NAME" #"gpt-4o-mini"
# base_url = "{YOUR_AZURE_ENDPOINT.rstrip('/')}/openai/deployments/{AZURE_DEPOLYMENT_ID}"
# api_key = "AZURE API KEY"
# max_tokens = 8096
# temperature = 0.0
# api_version="AZURE API VERSION" #"2024-08-01-preview"
[llm] #OLLAMA:
api_type = 'ollama'
model = "llama3.2"
base_url = "http://localhost:11434/v1"
api_key = "ollama"
max_tokens = 4096
temperature = 0.0
# Optional configuration for specific LLM models
#[llm.vision]
#model = "claude-3-7-sonnet-20250219" # The vision model to use
#base_url = "https://api.anthropic.com/v1/" # API endpoint URL for vision model
#api_key = "YOUR_API_KEY" # Your API key for vision model
#max_tokens = 8192 # Maximum number of tokens in the response
#temperature = 0.0 # Controls randomness for vision model
[llm.vision] #OLLAMA VISION:
api_type = 'ollama'
model = "llama3.2-vision"
base_url = "http://localhost:11434/v1"
api_key = "ollama"
max_tokens = 4096
temperature = 0.0
# Optional configuration for specific browser configuration
# [browser]
# Whether to run browser in headless mode (default: false)
#headless = false
# Disable browser security features (default: true)
#disable_security = true
# Extra arguments to pass to the browser
#extra_chromium_args = []
# Path to a Chrome instance to use to connect to your normal browser
# e.g. '/Applications/Google Chrome.app/Contents/MacOS/Google Chrome'
#chrome_instance_path = ""
# Connect to a browser instance via WebSocket
#wss_url = ""
# Connect to a browser instance via CDP
#cdp_url = ""
# Optional configuration, Proxy settings for the browser
# [browser.proxy]
# server = "http://proxy-server:port"
# username = "proxy-username"
# password = "proxy-password"
# Optional configuration, Search settings.
# [search]
# Search engine for agent to use. Default is "Google", can be set to "Baidu" or "DuckDuckGo".
# engine = "Google"
啟動 OpenManus 服務：
之後打開瀏覽器就可以了
測試 OpenManus ：
可以輸入請他使用瀏覽器看某一個網站，並且執行SEO策略
打開 https://rain.tips/ 並且給予SEO的建議，並且把建議存放在桌面上.txt的文件 補充資料
Github
近期留言