by Rain Chu | 6 月 7, 2026 | AI, Nvidia, Ollama, 模型
話說最近把 GB10 中的 ollama 給多人使用後就常常掛點,先把我的解方記錄下來,最後還是得用 vllm + QUENE 才能達到產品級
GPU OOM
500 Error
timeout
編輯設定檔
sudo nano /etc/systemd/system/ollama.service
建議的設定檔
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_GPU_LAYERS=999"
Environment="OLLAMA_MODELS=/mnt/ai-models/ollama/models"
Environment="OLLAMA_FLASH_ATTENTION=1"
Environment="OLLAMA_KV_CACHE_TYPE=q8_0"
Environment="OLLAMA_NUM_PARALLEL=1"
Environment="OLLAMA_MAX_LOADED_MODELS=1"
Environment="OLLAMA_MAX_QUEUE=256"
Environment="OLLAMA_KEEP_ALIVE=10m"
為什麼這樣設
OLLAMA_NUM_PARALLEL=1
很多教學會設:
但實際上:
Parallel 越大,
Context Cache 會倍數成長。
例如:
NUM_PARALLEL=1VRAM 使用 30GBNUM_PARALLEL=4VRAM 使用 50GB+
很容易直接炸掉。
OLLAMA_MAX_LOADED_MODELS=1
避免:多個模型同時留在 VRAM。
多人使用時最容易發生。
OLLAMA_KEEP_ALIVE=10m
目前很多人設:
永久保留模型。
結果:
VRAM 永遠不釋放。
改:
10分鐘沒人用就卸載。
by Rain Chu | 3 月 5, 2026 | MIS, Nvidia
在使用 nvidia spark 或 NVIDIA Jetson 類型的 AI 開發平台時,很多開發者會希望能夠遠端操作設備,而不是每次都連接螢幕、鍵盤與滑鼠。這時候 VNC(Virtual Network Computing) 就是一個非常方便的遠端桌面解決方案。
透過 vino VNC Server 與 RealVNC Viewer,你可以在 Windows、macOS 或 Linux 上遠端連線到 NVIDIA Spark 的桌面環境,像是直接操作本機一樣。VNC 可以透過網路傳輸桌面畫面與輸入操作,因此非常適合 AI 開發、邊緣設備管理與遠端維護。
本文將介紹如何在 nvidia spark / Ubuntu 系統 中啟用 VNC Server(vino),並透過 RealVNC Viewer 進行遠端連線。
為什麼 NVIDIA Spark 建議使用 VNC
在 AI 或嵌入式開發場景中,遠端桌面有幾個重要用途:
- 遠端查看 GPU 程式的 GUI
- 遠端操作桌面應用程式
- headless(無螢幕)設備管理
- 在不同電腦之間共享桌面
VNC 允許使用者透過網路存取 Linux 圖形桌面,而不需要實際連接顯示器。
NVIDIA Spark 啟用 VNC(vino)教學
以下步驟適用於 Ubuntu / GNOME 環境的 nvidia spark。
1 安裝 VNC Server(vino)
首先在 NVIDIA Spark 中安裝 vino:
sudo apt update
sudo apt install vino
vino 是 GNOME 桌面內建的 VNC Server,常用於 Ubuntu 遠端桌面。
2 啟用 VNC Server 自動啟動
建立 symbolic link,讓 vino 在登入後自動啟動:
cd /usr/lib/systemd/user/graphical-session.target.wants
sudo ln -s ../vino-server.service ./
這樣每次登入桌面時,VNC 服務就會自動啟動。
3 設定 VNC Server
關閉安全提示與加密:
gsettings set org.gnome.Vino prompt-enabled false
gsettings set org.gnome.Vino require-encryption false
這些設定可以避免某些 VNC Viewer 無法連線的問題。
4 設定 VNC 密碼
設定遠端登入密碼:
gsettings set org.gnome.Vino authentication-methods "['vnc']"
gsettings set org.gnome.Vino vnc-password $(echo -n 'yourpassword' | base64)
請將 yourpassword 替換為自己的密碼。
5 重新啟動系統
sudo reboot
重新啟動後,VNC Server 設定就會生效。
使用 RealVNC Viewer 連線 NVIDIA Spark
在另一台電腦安裝 RealVNC Viewer。
接著:
- 查詢 NVIDIA Spark IP
ifconfig
或
ip a
- 開啟 RealVNC Viewer
- 輸入 IP 地址
例如:
192.168.1.50
- 輸入剛剛設定的 VNC 密碼
即可成功遠端操作 NVIDIA Spark 桌面。
VNC 常見問題
1 VNC 無法連線
可能原因:
- vino 沒有啟動
- GNOME 沒有登入
- 防火牆阻擋
確認服務:
ps aux | grep vino
2 VNC 黑畫面
可能是:
可設定 自動登入(Auto Login) 解決。
VNC、RealVNC、vino 的差異
| 工具 | 功能 |
|---|
| vino | Linux GNOME VNC Server |
| VNC | 遠端桌面協定 |
| RealVNC Viewer | 常用 VNC 客戶端 |
通常搭配方式:
vino server + RealVNC viewer
結論
透過 VNC + vino + RealVNC,可以快速讓 nvidia spark 具備遠端桌面能力,對於 AI 開發、遠端管理或 headless 系統來說非常方便。
只需要簡單幾個步驟:
- 安裝 vino
- 啟用 VNC server
- 設定密碼
- 使用 RealVNC 連線
就能輕鬆遠端控制 NVIDIA Spark。
相關資料
https://developer.nvidia.com/embedded/learn/tutorials/vnc-setup
近期留言