Voicebox 是什麼？本地 AI 語音工作室與 Agent 發聲工具

by Rain Chu | 7 月 23, 2026 | AI, 語音分離, 語音合成, 語音辨識

Voicebox 最吸引我的地方，是它不是只做 TTS，也不是只做 Whisper 聽寫，而是把語音輸入、語音輸出、聲音克隆、故事編輯器、REST API 和 MCP server 放在同一個本地優先的工具裡。這讓 AI Agent 不只會回文字，也能用你指定的音色說話。

如果說過去的語音工具常常分成兩邊，ElevenLabs 偏輸出，WisprFlow 偏輸入，那 Voicebox 想做的是完整 voice I/O stack。更重要的是，它預設把模型、聲音資料和錄音留在本機，這對語音克隆和工作資料來說很關鍵。

先講結論

Voicebox 是 Jamie Pine 開源的 AI voice studio，官方定位是 local-first。它可以做文字轉語音、聲音克隆、全域快捷鍵聽寫、Whisper 轉錄、故事多軌編輯，還能透過 REST API 和 MCP server 讓 Claude Code、Cursor、Cline 這類 MCP-aware agent 發聲。

我會把它放在「本地語音 AI 底座」這一類，之前整理過 audio.cpp 本地語音 AI WebUI 和 Hugging Face speech-to-speech 本地語音 Agent，Voicebox 則更偏向桌面應用和創作者工具，並且把 Agent 整合做得很直接。

Voicebox 在補語音 AI 的哪一塊

很多語音工具只有單點能力。TTS 工具能把文字變聲音，但不一定能做聽寫。STT 工具能轉錄，但不一定能配音。聲音克隆工具效果強，但常常依賴雲端 API。Voicebox 的取向比較完整：輸入端用 Whisper，輸出端有多個 TTS 引擎，中間還有本地 Qwen3 LLM 做潤飾、角色語氣和 persona。

這種整合方式很適合兩種人：

第一種是內容創作者，想做旁白、podcast、故事對話、角色音色。

第二種是 AI Agent 使用者，想讓 Claude Code、Cursor 或自己的工具在完成任務後，用指定聲音提醒你，而不是只丟一段文字。

7 個 TTS 引擎和 23 種語言

官方 README 列出 7 個 TTS 引擎：Qwen3-TTS、Qwen CustomVoice、LuxTTS、Chatterbox Multilingual、Chatterbox Turbo、HumeAI TADA 和 Kokoro。它們的定位不同，有的適合多語言克隆，有的適合 CPU 快速推理，有的適合加入情緒標籤和語氣控制。

如果你對開源 TTS 的音色設計有興趣，可以搭配看 Qwen3-TTS 的音色設計整理 和 dots.tts 聲音復刻架構。Voicebox 比較像把這些能力打包成桌面工作台，而不是單一模型 demo。

聲音克隆和預設音色的差別

聲音克隆適合你有一段參考音訊，想生成相似聲線。預設音色適合你只是要快速找一個可用聲音，不想準備樣本。Voicebox 同時支援兩種路線，這點很實用。創作者可以先用預設音色打草稿，確定文本節奏後，再換成克隆音色做正式版本。

但聲音克隆也有界線。它很適合克隆你自己擁有權利的聲音，或明確授權的角色聲音。不要拿來模仿名人、同事或客戶聲音做未授權內容。語音模型越容易使用，倫理和授權越要先想清楚。

Whisper 聽寫補上輸入端

Voicebox 的另一半是輸入。它用 OpenAI Whisper 做 speech-to-text，支援全域 dictation hotkey、push-to-talk 和 toggle mode。macOS 上可以把轉錄結果直接貼到目前焦點文字欄位，這會讓它接近一個本地版語音輸入法。

Whisper 對長音訊和技術內容一直很適合。如果你常做訪談、會議紀錄、口述筆記，Voicebox 把 captures、replay、re-transcribe、refine 放在同一個介面裡，會比單純命令列轉錄更順。這裡也可以延伸看之前整理的 Whisper 開源語音轉文字。

MCP 讓 Agent 真的開口說話

Voicebox 最有意思的一點，是內建 MCP server，官方 README 寫到它提供 `voicebox.speak`、`voicebox.transcribe`、`voicebox.list_captures`、`voicebox.list_profiles` 四個工具，這代表 MCP-aware agent 可以呼叫 Voicebox，把文字變成指定音色播放出來，也可以讀取 captures 和 voice profiles。

這不只是好玩。Agent 的語音輸出可以拿來做任務完成提醒、錯誤警告、長任務回報、pair programming 對話。你甚至可以把不同 agent 綁定不同聲音，例如 Claude Code 用一個音色，Cursor 用另一個音色，聽聲音就知道是哪個工具在回報。

{
  "tool": "voicebox.speak",
  "arguments": {
    "text": "任務完成，測試已通過",
    "profile": "Morgan"
  }
}

如果你已經在玩 Playwright CLI 讓 Codex 操作瀏覽器，Voicebox 可以補上另一個感官通道。Agent 不只可以操作網頁，也能在完成後直接用語音提醒你。

Stories editor 適合做多角色內容

Voicebox 也有 Stories editor，可以做 conversation、podcast、narrative 這類多段落、多角色內容。這對部落格轉 podcast、教學腳本、角色對話、短劇旁白都很有用。比起一次產生一整段音訊，多軌 timeline 更適合慢慢調整角色、節奏和轉場。

如果你平常會把文章轉成短影片或語音內容，Voicebox 可以放在內容工作流後段。先由 Agent 整理稿件，再用 Voicebox 做角色分配和配音，最後再進剪輯工具。

安裝與使用入口

Voicebox 官方網站是 voicebox.sh，GitHub repo 是 jamiepine/voicebox。官方 README 提供 macOS Apple Silicon、macOS Intel 和 Windows 下載入口，也有開發者本地建置方式。

• 官網：voicebox.sh
• GitHub：jamiepine/voicebox
• 文件：docs.voicebox.sh
• API 文件：本機啟動後可看 `http://127.0.0.1:17493/docs`

我會怎麼用

我不會只把 Voicebox 當成免費配音工具：

更有價值的用法，是把它接進 AI Agent 工作流，平常寫文章、整理筆記、跑 Codex、跑 Claude Code，最後都可以由 Voicebox 轉成語音摘要。長任務完成時不用一直盯螢幕，讓 Agent 開口提醒就好。

第二個用法是做內容實驗，先用預設音色快速產出版本，再用克隆音色做正式版。

第三個用法是本地聽寫，把口述想法直接丟進任何 app，再交給 Agent 整理。這會比只靠鍵盤更接近自然工作流。

我的判斷

Voicebox 不是單一模型展示，而是把語音 AI 變成桌面工作台。它的亮點不是某個 TTS 引擎本身，而是整合：本地隱私、TTS、STT、故事編輯、聲音 profile、REST API、MCP server。

如果你只需要偶爾產一段聲音，線上 TTS 服務可能更快。但如果你想要長期建立自己的聲音素材庫、做本地聽寫、讓 Agent 用聲音回報任務，Voicebox 會是值得試的工具。

延伸資源

• jamiepine/voicebox GitHub
• Voicebox 官方網站
• Voicebox 文件
• dots.tts 是什麼？3 秒聲音復刻背後的開源 TTS 架構整理
• MOSS-TTS 搭配數字人工作流整理

FAQ

Voicebox 是什麼？

Voicebox 是開源的本地優先 AI 語音工作室，可以做 TTS、聲音克隆、Whisper 聽寫轉錄、故事編輯和 MCP Agent 語音輸出。

Voicebox 可以離線使用嗎？

官方定位是 local-first，模型、聲音資料和 captures 會留在本機。實際能否完全離線，取決於你是否已下載需要的模型和使用的引擎。

Voicebox 支援哪些 TTS 引擎？

官方列出 Qwen3-TTS、Qwen CustomVoice、LuxTTS、Chatterbox Multilingual、Chatterbox Turbo、HumeAI TADA 和 Kokoro。

Voicebox 可以接 Claude Code 或 Cursor 嗎？

可以。Voicebox 內建 MCP server，MCP-aware agent 可以使用 `voicebox.speak`、`voicebox.transcribe`、`voicebox.list_captures` 和 `voicebox.list_profiles`。