Select Page

Nidia DGX Spark GB10 Ollama 最佳設定

話說最近把 GB10 中的 ollama 給多人使用後就常常掛點,先把我的解方記錄下來,最後還是得用 vllm + QUENE 才能達到產品級

GPU OOM
500 Error
timeout

編輯設定檔

sudo nano /etc/systemd/system/ollama.service

建議的設定檔

[Service]

Environment="OLLAMA_HOST=0.0.0.0:11434"

Environment="OLLAMA_GPU_LAYERS=999"

Environment="OLLAMA_MODELS=/mnt/ai-models/ollama/models"

Environment="OLLAMA_FLASH_ATTENTION=1"

Environment="OLLAMA_KV_CACHE_TYPE=q8_0"

Environment="OLLAMA_NUM_PARALLEL=1"

Environment="OLLAMA_MAX_LOADED_MODELS=1"

Environment="OLLAMA_MAX_QUEUE=256"

Environment="OLLAMA_KEEP_ALIVE=10m"

為什麼這樣設

OLLAMA_NUM_PARALLEL=1

很多教學會設:

OLLAMA_NUM_PARALLEL=4

但實際上:

Parallel 越大,

Context Cache 會倍數成長。

例如:

NUM_PARALLEL=1VRAM 使用 30GBNUM_PARALLEL=4VRAM 使用 50GB+

很容易直接炸掉。


OLLAMA_MAX_LOADED_MODELS=1

避免:多個模型同時留在 VRAM。

多人使用時最容易發生。


OLLAMA_KEEP_ALIVE=10m

目前很多人設:

-1

永久保留模型。

結果:

VRAM 永遠不釋放。

改:

10m

10分鐘沒人用就卸載。

NVIDIA Spark 如何啟用 VNC:使用 Vino 與 RealVNC 遠端桌面完整教學

在使用 nvidia spark 或 NVIDIA Jetson 類型的 AI 開發平台時,很多開發者會希望能夠遠端操作設備,而不是每次都連接螢幕、鍵盤與滑鼠。這時候 VNC(Virtual Network Computing) 就是一個非常方便的遠端桌面解決方案。

透過 vino VNC ServerRealVNC Viewer,你可以在 Windows、macOS 或 Linux 上遠端連線到 NVIDIA Spark 的桌面環境,像是直接操作本機一樣。VNC 可以透過網路傳輸桌面畫面與輸入操作,因此非常適合 AI 開發、邊緣設備管理與遠端維護。

本文將介紹如何在 nvidia spark / Ubuntu 系統 中啟用 VNC Server(vino),並透過 RealVNC Viewer 進行遠端連線。

為什麼 NVIDIA Spark 建議使用 VNC

在 AI 或嵌入式開發場景中,遠端桌面有幾個重要用途:

  • 遠端查看 GPU 程式的 GUI
  • 遠端操作桌面應用程式
  • headless(無螢幕)設備管理
  • 在不同電腦之間共享桌面

VNC 允許使用者透過網路存取 Linux 圖形桌面,而不需要實際連接顯示器。


NVIDIA Spark 啟用 VNC(vino)教學

以下步驟適用於 Ubuntu / GNOME 環境的 nvidia spark

1 安裝 VNC Server(vino)

首先在 NVIDIA Spark 中安裝 vino

sudo apt update
sudo apt install vino

vino 是 GNOME 桌面內建的 VNC Server,常用於 Ubuntu 遠端桌面。


2 啟用 VNC Server 自動啟動

建立 symbolic link,讓 vino 在登入後自動啟動:

cd /usr/lib/systemd/user/graphical-session.target.wants
sudo ln -s ../vino-server.service ./

這樣每次登入桌面時,VNC 服務就會自動啟動。


3 設定 VNC Server

關閉安全提示與加密:

gsettings set org.gnome.Vino prompt-enabled false
gsettings set org.gnome.Vino require-encryption false

這些設定可以避免某些 VNC Viewer 無法連線的問題。


4 設定 VNC 密碼

設定遠端登入密碼:

gsettings set org.gnome.Vino authentication-methods "['vnc']"
gsettings set org.gnome.Vino vnc-password $(echo -n 'yourpassword' | base64)

請將 yourpassword 替換為自己的密碼。


5 重新啟動系統

sudo reboot

重新啟動後,VNC Server 設定就會生效。


使用 RealVNC Viewer 連線 NVIDIA Spark

在另一台電腦安裝 RealVNC Viewer

接著:

  1. 查詢 NVIDIA Spark IP
ifconfig

ip a
  1. 開啟 RealVNC Viewer
  2. 輸入 IP 地址

例如:

192.168.1.50
  1. 輸入剛剛設定的 VNC 密碼

即可成功遠端操作 NVIDIA Spark 桌面。


VNC 常見問題

1 VNC 無法連線

可能原因:

  • vino 沒有啟動
  • GNOME 沒有登入
  • 防火牆阻擋

確認服務:

ps aux | grep vino

2 VNC 黑畫面

可能是:

  • 沒有登入桌面
  • 沒有顯示器(headless模式)

可設定 自動登入(Auto Login) 解決。


VNC、RealVNC、vino 的差異

工具功能
vinoLinux GNOME VNC Server
VNC遠端桌面協定
RealVNC Viewer常用 VNC 客戶端

通常搭配方式:

vino server + RealVNC viewer

結論

透過 VNC + vino + RealVNC,可以快速讓 nvidia spark 具備遠端桌面能力,對於 AI 開發、遠端管理或 headless 系統來說非常方便。

只需要簡單幾個步驟:

  1. 安裝 vino
  2. 啟用 VNC server
  3. 設定密碼
  4. 使用 RealVNC 連線

就能輕鬆遠端控制 NVIDIA Spark。

相關資料

https://developer.nvidia.com/embedded/learn/tutorials/vnc-setup