AI 女友本地部署怎麼做？Qwen3 語音聊天、LiveTalking 嘴型同步教學

by Rain Chu | 9 月 21, 2026 | AI, TTS, 圖型處理, 影片製作, 模型, 虛擬人, 語音合成, 語音辨識

AI 女友本地部署，可以做成真正接得上話的語音數位人：當麥克風收音後，由語音辨識轉成文字，Qwen3 產生回答，Qwen3-TTS 合成聲音，再交給 LiveTalking 生成嘴型畫面。角色的回答隨當下對話產生，不只是播放固定台詞。

最實用的起步方式，是先把「聽得懂、答得出、播得出聲音」跑通，再加入人物形象。

這套系統有好幾個服務，任何一層沒啟動，都可能看起來像整個網頁壞掉。

先看懂整套流程：聊天模型只是其中一站

語音互動可拆成五個環節：VAD 判斷你是否正在說話，faster-whisper 辨識語音，Qwen3 組織回覆，Qwen3-TTS 產生音訊，LiveTalking 把音訊轉成嘴型並傳回瀏覽器，畫面與對話分工之後，才有辦法逐層測試。

Hugging Face speech-to-speech採用可替換元件的語音流程，語言模型可以接自己的 llama.cpp 服務，初次接觸這類架構，可以先看本地即時語音 Agent 的元件分工，再加上數位人畫面。

「免 API 費」比較精確的意思，是不必向雲端模型服務支付推理費，程式之間仍可能透過本機 API 溝通，電腦硬體、用電與安裝時間也不會因此消失。

8GB 顯卡能跑嗎？先算所有常駐元件

只看 Qwen3 能不能載入，會低估整套系統的需求。語音辨識、語音合成、嘴型模型、上下文快取與桌面顯示，都可能一起使用顯示記憶體。素材生成階段的 ComfyUI 也有自己的負載，完成底片後應釋放它的資源，再測常駐對話服務。

下表採用作者教學頁列出的 RTX 4090 配置估算，方便理解資源分配。這些近似值不是本文實測，也不是官方最低需求。

因此，不能把這份完整配置原封不動套到 8GB 顯卡，容量有限時，先選較小的量化 Qwen3、縮短上下文，再評估語音辨識模型與運算位置，faster-whisper 官方效能資料也顯示，精度與批次設定都會改變記憶體需求，光是模型名稱一樣，佔用量仍可能不同。

步驟一：準備 WSL，先確認 GPU 與資料夾

以下以 Windows 搭配 NVIDIA 顯卡及 WSL 2 為主。先安裝 Windows 端的 NVIDIA 驅動，再安裝、更新 WSL，NVIDIA 官方文件明確說明，WSL 使用 Windows 驅動映射的 CUDA 支援，不要在 WSL 裡另外安裝 Linux 顯示驅動。

Windows PowerShell 的起步指令如下，若已有 Ubuntu，不必重複安裝。

依畫面要求完成重啟與帳號設定後，在 Ubuntu 執行 nvidia-smi 確認顯卡可見。

wsl --update
wsl --install -d Ubuntu-24.04

Python 環境、模型處理與執行檔案，建議放在 WSL 的 Linux 家目錄下，Microsoft 的檔案系統建議是讓 Linux 工具優先使用 Linux 檔案系統，可減少跨系統讀寫負擔，環境基礎可參考Windows 與 WSL 的 AI 開發環境整理。

WSL 網路設定不是一個開關解決全部問題

Windows 11 22H2 以上可在使用者目錄的 .wslconfig 啟用 mirrored 網路，Microsoft 說明指出，這種模式支援 Windows 與 WSL 透過 127.0.0.1 互連。記憶體上限則應按實際機器調整，不要照抄別人的容量。

[wsl2]
networkingMode=mirrored

hostAddressLoopback=true 是額外允許透過主機其他 IPv4 位址互連的設定，只在 mirrored 模式下適用，官方設定文件並未說所有 WebRTC 失敗都必須靠它修復。改完設定後，可在保存其他 WSL 工作後執行 wsl --shutdown，再重新啟動環境。

步驟二：先讓 Qwen3 單獨回答文字

從 llama.cpp 官方專案選擇適合 Windows 與顯卡的版本，下載對應的 GGUF 模型，容量有限時，可先研究 Qwen3-4B 官方 GGUF，而不是直接載入較大的模型。檔名應以實際下載結果為準。

下面是啟動本機文字服務的設定範例，請把模型路徑換成自己的檔案。這組命令只用來說明參數，未在本文中進行 GPU 實測。

llama-server -m "C:\AI\models\your-qwen3-model.gguf" -ngl 99 -np 1 -c 4096 --host 127.0.0.1 --port 8090

先開啟 http://127.0.0.1:8090 測試文字回覆，再把語音服務的模型端點指向同一個位址與連接埠，llama-server 文件列有模型路徑、上下文與監聽位址參數，若使用 NAT 網路跨 Windows 與 WSL 連線，位址安排會不同，應按前一節的網路模式處理。

連接埠不是非 8090 不可。若無法綁定，先看錯誤與 Windows 保留區間，再選可用的埠，也不必為了單機測試直接監聽全部網卡，只有確實需要其他位址連入時，才調整監聽範圍與防火牆。

步驟三：接上語音辨識與 Qwen3-TTS

先用一句短句測試語音辨識，再讓 TTS 單獨唸出固定文字，兩者各自正常後，才把它們接到文字模型，這樣能分辨「沒聽見」「辨識錯」「模型沒回覆」與「音訊沒播出」是哪一段出問題。

若使用作者整合包，install-voice.sh、start-voice.sh 與後續的橋接檔案應維持同一版本，這些是教學包的客製腳本，並不是所有官方專案都有的通用指令，下載入口可由原作者部署教學取得，本文未執行或驗證該整合包。

自行安裝目前官方 speech-to-speech 時，要明確選定本機 LLM 端點與本地語音元件，單獨執行預設服務命令，不代表一定選到全本地配置，首次啟動還需要下載模型與完成載入，前端頁面能打開，不代表語音後端已準備好。

聲音復刻要選 Base，固定音色則看 CustomVoice

Qwen3-TTS 官方說明區分 Base、CustomVoice 與 VoiceDesign，想根據參考錄音復刻聲音，應使用支援 voice clone 的 Base 路徑，CustomVoice 提供預設說話者，不能把兩者的參數直接互換。

參考音訊使用自己錄製或有授權的聲音，保持單人、背景乾淨，並準備正確的逐字內容，

不要只把 MP3 副檔名改成 WAV，也不要假設所有模組都用同一取樣率，應在需要的交接點真正轉換格式。更多音色選擇可參考Qwen3-TTS 音色設計與聲音復刻。

步驟四：用 LiveTalking 驗證聲音與嘴型

LiveTalking 官方專案支援 Wav2Lip 等嘴型模型，並提供 WebRTC 輸出，先依目前 README 安裝相容環境與權重，使用官方範例形象測試。舊教學的 Python、PyTorch 版本可能和目前文件不同，不要任意混裝兩套依賴。

完成官方安裝與模型放置後，範例啟動命令如下。開啟 http://localhost:8010/index.html，建立連線後先測畫面，再測文字或音訊驅動。官方文件要求把對應權重放到指定目錄，檔名也要相符。

python app.py --transport webrtc --model wav2lip --avatar_id wav2lip256_avatar1

這一步的目標是確認嘴型服務本身能工作，範例能出聲音，不足以證明聲音是本地生成的。仍要核對選用的 TTS 後端，確保正式串接時收到的是前一層本地 TTS 的音訊。

步驟五：準備自己的形象，最後才做整合

人物底片使用嘴部清楚、沒有手遮擋、動作平穩的素材。可以自己錄製，也可先用 Wan2.2 等圖生影片工具製作一小段待機畫面。鏡頭固定、人物稍微呼吸或眨眼即可，避免原片持續大幅說話，讓後續嘴型替換更容易處理。

底片長度、解析度與幀率要配合生成模型及後續預處理，不能把某份模板的幀數與匯出設定，說成整個 Wan2.2 系列只能產生固定秒數，若模板有提示詞擴寫功能，先確認它是否改寫了你要保留的場景。

LiveTalking 提供 /avatar.html 形象建立頁面，可上傳影片並產生角色資料，完成後，用新形象的 ID 啟動服務，再確認嘴部邊緣、遮擋與音畫同步。底片是角色外觀素材，實際回話的嘴型仍依當下音訊產生。

完整整合需要橋接語音輸出與人物服務。作者教學包中的 avatar-sync.js 承擔這部分工作，因此不能只安裝兩個官方專案，就假設它們會自動連接。建議依序啟動文字模型、嘴型服務、語音服務，再開前端檢查每一層日誌。

讓對話更自然：回覆長度比華麗人設更有用

語音回答先控制在一兩個重點，避免長篇條列與會被唸出來的格式符號。以下是可自行調整的原創人設示例，重點是語氣與回覆形式，不需要要求角色否認自己是 AI。

你是一位名叫小晴的虛擬聊天夥伴。
使用自然的臺灣繁體中文口語，回覆以兩三句為主。
先回應對方剛說的內容，再視情況提出一個簡單問題。
不要使用 Markdown、編號或表情符號。
不知道的事情直接說不知道，不要虛構共同經歷。

支援思考切換的 Qwen3 模型可以用 /no_think 控制模式，但仍要依模型與聊天模板確認，若換成不同的 Instruct 版本，不能假設同一控制文字都有相同效果。

聲音很自然，回答就一定聽懂了嗎？

聊天時最容易混淆的是語氣與理解能力。角色能用自然音色談論喝奶茶、工作很累等日常話題，並不代表它穩定追蹤了誰在說話、誰與誰是什麼關係。多人輪流發言或連續追問身分時，回覆可能仍然流暢，內容卻已經接錯人或繞回固定話題。

驗收時應把「聲音像不像真人」與「答案有沒有回應問題」分開。用幾句意思相近但主詞不同的問題測試，再核對辨識文字。如果前一層把話聽錯，先修收音與轉錄。如果轉錄正確而回覆混亂，再調整對話歷史、角色規則或模型，不能只因為聲音很順就判定整套系統成功。

搶話、沒反應、WebSocket 失敗，分層排查

一直顯示「等待語音後端就緒」

先查看後端是否正在下載模型，或已經因套件、CUDA、磁碟空間而退出。檢查真正的錯誤訊息與下載進度，再決定是否重啟。只重整前端頁面，無法修復後端缺少權重的問題。

網頁打得開，但 WebSocket 連不上

官方瀏覽器示範文件區分前端頁面與語音後端。例如頁面可位於 7860，而語音連線使用另一個埠與 /v1/realtime 路徑。依實際版本核對位址、連接埠、路徑及協定，不能把前端網址直接當成 WebSocket 端點。

WebRTC 失敗則要看服務端、ICE 候選、網路模式與防火牆。

前端出現 JSON 解析錯誤，可能只是收到錯誤回應，不能僅憑這句話認定是某個 WSL 開關沒開。

麥克風有權限，卻完全沒有辨識結果

先確認選到正確輸入裝置與收音電平，再調整 noise gate 與 VAD 門檻。

門檻過高可能把正常說話擋掉，降得太低也可能讓環境聲觸發回應，瀏覽器麥克風規則要求安全環境，本機可用 localhost，其他裝置連入通常應使用 HTTPS。

還沒說完就被搶答，或聽起來像在等很久

先調整結束發言的靜音等待，再測辨識與合成速度。等待較長，較能容忍句中停頓，但回答也會更晚開始。這是輪流說話的取捨，不能單靠加大模型解決。使用耳機也能避免喇叭聲再次進入麥克風，造成誤觸發。

衡量延遲時，要從你停止說話算到真正聽見第一個字，包含等待、辨識、文字生成、音訊生成與播放緩衝。嘴型影片播放流暢，只代表畫面跟得上，不等於對話回覆沒有延遲。

離線與免費，最後要驗收哪些條件？

首次安裝與模型下載通常需要網路。若要斷網使用，先讓選定的全本地配置完整啟動一次，再檢查模型快取、前端資源、語音後端，以及是否仍依賴外部 STUN 或其他服務。外網通道與雲端語音服務也不能算成純離線方案。

原始 Wav2Lip 專案對其開源模型的商用有明確限制，不能因整合框架使用 Apache 授權，就推論整套權重都可任意商用。對外使用前，應核對實際下載模型的來源與授權。

第一個完成標準可以很簡單：連續問幾個新問題，辨識內容正確、回答有關聯、聲音完整、嘴型能跟上。這些都穩定後，再增加個性設定、外觀與更長的對話記憶。

常見問題

要復刻聲音，Qwen3-TTS 該用哪一版？

應使用支援參考音訊復刻的 Base 路徑。CustomVoice 提供預設音色，與聲音復刻的輸入方式不同。

為什麼 localhost 頁面能開，語音卻連不上？

前端頁面與語音後端可能使用不同連接埠。應先確認後端啟動完成，再核對 WebSocket 位址、路徑、協定與網路設定。

AI 女友本地部署後可以斷網聊天嗎？

選定的模型、依賴與前端資源都已備妥，而且語音、對話與串接服務不依賴雲端時，才可能離線使用。應先跑通完整配置，再做斷網測試。