Select Page

本機 AI 的價值,不能只用「回答有沒有雲端模型聰明」判斷。當工作需要反覆讀取私人文件、呼叫工具,或同時執行多個任務,模型之外的資料流向、硬體安排與執行框架,也會影響實際成果。

DSH Privacy Router、NVIDIA PAIR、EXO 與 Perplexity Portable Computer,分別處理隱私分流、區網排程、模型分散運算與完整 Agent 工作流程。它們可以放進同一張架構圖理解,卻不是可以直接互換的產品。

本機 AI 先看三件事:資料、容量與工作流程

第一件事是資料能不能外傳。即使雲端模型能力更強,有些內容仍應留在自己的設備或信任的內部網路。第二件事是硬體能不能容納模型,以及能否在可接受的時間內完成工作。第三件事是模型以外的操作,像讀檔、搜尋、驗證與產出文件,有沒有完整流程。

這些問題需要分別處理。推論引擎負責執行模型,Agent 框架負責組織工具與任務,路由器則決定請求送到哪裡。還不熟悉這些層次,可以先看 本地大模型推論框架比較,再判斷自己缺的是哪一層。

DSH Privacy Router:先判斷哪些內容能送雲端

DSH Privacy Router 是 DeepSeek Harness 的 Host 端插件。它先用本機規則與模型檢查文字,分類為 publicsensitiveunknown。只有通過公開分類的請求才送雲端,敏感或不確定的內容留在本機。這是隱私導向的分流,不是單純把困難問題全部轉給大模型。

預設雲端上下文只包含本輪通過檢查的純文字、固定系統提示與空工具清單。專案文件說明,私有對話與本機工具結果不會直接附帶過去,雲端回答則直接串流回目前對話,不由本機模型再次改寫。開啟特定相容事件功能後,才可納入先前已核准的雲端對話。

公開程式可看到兩個關鍵控制:雲端分支只在分類結果為 public 時啟用,真正送出時會重新組合訊息,並把工具列表設為空。這比只在提示詞寫「不要洩漏資料」多了程式層的限制。不過,這仍不代表整個應用的所有網路流量都受到同一個插件管理。核對版本見 DSH 路由程式

導入前要知道,這個公開儲存庫不包含展示用 Web UI 或 DSH 原始碼補丁。README 的介面展示屬於構想,不能把安裝插件理解成會立即得到完整視覺介面。先依文件設定可信任的本機 Provider,再確認實際連到的服務確實位於可信任環境。

自動發現本機算力,不等於自動信任任何設備

配套的 Local AI Discovery Server 用 mDNS/DNS-SD 宣告區域網路中的 OpenAI 相容 API,提供主機、連接埠、模型清單位置與認證需求等資訊。它負責讓服務被找到,本身不執行模型,也不是 API 代理。DSH 端仍需要對應的發現整合。

發現服務與信任服務是不同步驟。在家中看得到的端點,不代表公司文件就適合送過去,更不用說共享空間的陌生設備。評估時應確認設備由誰管理、是否使用認證,以及請求最後送往哪個端點。服務名稱帶有「local」,不能取代這些確認。

NVIDIA PAIR:把獨立請求分配給區網內的電腦

NVIDIA Personal AI Router,也就是 PAIR 目前以測試版提供本機推論路由,支援相容的 Windows、Linux、macOS 系統,搭配 Ollama 與 LM Studio。它的目標是讓應用使用單一入口,把多個推論請求分配給可用設備。實際平台與硬體組合,應以當前官方支援清單為準。

PAIR 不會把多台電腦的顯示記憶體合成一個大空間,也不會把同一個推論請求拆到多台執行。每個請求會交給一個符合條件的節點,該節點負責執行到結束。當多個 Agent 同時提出獨立請求時,其他設備才有機會分擔排隊壓力。

官方技術文件說明,排程會考慮節點是否在線、推論引擎是否可用、是否有指定模型,以及目前負載。節點經過配對後,通訊使用相互 TLS 驗證與加密。這解決的是信任節點之間的推論傳輸,不能延伸成 Agent 使用任何搜尋或外部工具都不會外傳資料。詳見 NVIDIA PAIR 技術說明

若工作主要是一個接著一個的長推論,或只有一台設備裝了需要的模型,多加節點的效益可能有限。評估時要看整個任務完成時間,以及 Jobs 紀錄是否真的顯示不同節點處理請求,而不只看畫面上出現幾個 Agent。

EXO:把模型拆到多台設備,與 PAIR 的用途不同

EXO 的核心包含模型分片與分散推論,會考慮裝置資源及網路拓樸,讓單一設備放不下的模型有機會跨設備執行。README 介紹了 MLX、張量平行與 Thunderbolt RDMA 等能力,這和 PAIR 分派完整請求的做法不同。

分散推論需要設備交換資料,速度取決於模型、切分方式與實際互連。能容納更大模型,不代表每次回答一定更快,也不能直接把各台硬體的標示效能相加。想理解雙機部署的取捨,可延伸閱讀 雙機本地模型部署與實測整理,並分開看容量與速度。

截至 2026 年 9 月 14 日核對,EXO 的 平台支援文件 把 Apple Silicon macOS 列為已測試與維護的主要平台,Linux CUDA 與 DGX Spark 則仍列在規劃區。這不等於所有相關實驗都不存在,但不足以把 DGX Spark 支援寫成已成熟可用的標準路徑。

Portable Computer:把本機模型接成完整 Agent

Perplexity Portable Computer 的定位是本機優先的 Agent 軟體,不是一款 Perplexity 品牌硬體。官方發表資料以 DGX Spark 為首波設備,將模型、執行框架與工作紀錄放在本機,必要時再經授權使用搜尋、連接器或雲端模型。平台支援與訂閱資格會更新,安裝前應重新確認產品入口。

比起單純啟動模型,它更重視框架如何配合本機模型的能力:縮小核心工具集合、按需載入 Skills、整理過長上下文,以及加入結果驗證。官方研究也說明,工具執行受作業系統層的沙箱限制,沙箱不可用時不退回無隔離執行。參考 Perplexity 的本機優先 Agent 研究

雲端顧問只接收核准的上下文並回傳文字建議,沒有直接操作本機檔案與工具的權限。是否開啟顧問,以及採手動或自動核准,由使用者設定。因此,「本機優先」仍須搭配實際的連外與核准政策來理解。

中文導讀也可參考 AI 郵報 Portable Computer 整理。其中的硬體需求、測試分數與上市資訊,應回到對應官方文件與測試條件核對,不宜直接推論成所有任務的表現。

四個方案怎麼分?先對照自己要解的問題

方案主要處理的問題不能直接推論的能力
DSH Privacy Router判斷文字是否可送雲端並限制上下文不能保證分類永遠正確或涵蓋所有資料出口
NVIDIA PAIR把獨立推論請求分配到可用的區網節點不合併顯示記憶體,也不切分單一推論請求
EXO跨設備切分模型與分散推論不代表任意平台組合都已支援或一定加速
Portable Computer整合本機模型、工具、沙箱與授權連外本機優先不代表開啟外部服務後仍完全離線

這張表依前述官方文件整理的是功能範圍,不是效能排名。若想組合使用,還要核對 API、模型格式、端點與執行框架是否相容,不能假設名稱都和本機 AI 有關就能直接串接。

隱私真正難的地方,是內容看起來不敏感

沒有姓名、電話或金鑰,不代表內容可以公開。例如尚未發表的產品構想、內部定價方法或獨特研究策略,就算去掉身分資訊,仍可能包含不應外傳的價值。這是自動隱私分類需要面對的限制,不能只用是否偵測到個資判斷。

DSH 用規則加模型檢查,Portable Computer 也描述了分類器與核准機制,但分類器仍可能漏判。對不可外傳的工作,應有明確的本機限定設定,以及實際阻止連外的權限或網路政策。對允許求助雲端的工作,則要看清楚送出的片段、歷史上下文與工具結果。

驗收可以從幾種情境開始:一般公開問題、含機密的文件、依賴前文的「繼續」、分類失敗,以及雲端要求呼叫工具。確認它們分別送去哪裡、留下什麼紀錄,並能追查答案由哪個模型產生。不要為了觀察系統又把完整機密複製進不受控的日誌。

開始之前,先用現有設備跑完一個真實任務

先挑一個可驗證的小工作,例如整理不含機密的測試文件,用現有設備與合適模型完成一次。若問題是模型服務與應用怎麼接,可以先參考 LibreChat 與 Ollama 的串接方式。等單機流程穩定,再處理分流與多機。

接著辨認瓶頸。獨立請求很多、都擠在同一台,才評估 PAIR。模型放不下,才研究 EXO 等分散推論路線。需要選擇哪些內容送雲端,再檢查 DSH 的分流設計。想降低工具、沙箱與任務流程的整合工作,則可評估 Portable Computer。

本機推論能減少按量 API 費用,但仍有硬體、電力、維護與等待時間。選擇性使用雲端,也可能產生額外用量。先量出自己的任務品質與完成時間,再決定是否擴充設備,會比從硬體規格開始更容易做出合適選擇。

本機 AI 路由常見問題

DSH Privacy Router 會把困難問題自動交給雲端嗎?

它主要依隱私分類分流,只有判定為 public 的請求才走雲端。敏感、不確定或無法分類的內容留在本機,不能視為單純依難度切換模型。

NVIDIA PAIR 能把多台電腦合成一張大顯卡嗎?

不能。PAIR 將獨立推論請求分派給符合條件的單一節點,不合併顯示記憶體,也不把一個請求切到多台電腦執行。

EXO 和 PAIR 差在哪裡?

EXO 包含跨設備模型分片與分散推論能力,PAIR 則分派完整的獨立請求。選擇前要先分清楚瓶頸是模型容量,還是同時有太多請求排隊。

Portable Computer 等於完全離線嗎?

不一定。核心工作預設在本機,搜尋、連接器與雲端顧問則可能連外。是否外傳資料,取決於開啟的功能、授權設定與實際送出的上下文。

本機 AI 一定能避免機密外洩嗎?

不能只靠模型位置保證。還要檢查服務端點、工具、搜尋、日誌與雲端升級路徑,自動分類也可能漏判不含個資的商業機密。