by Rain Chu | 6 月 7, 2026 | AI, Nvidia, Ollama, 模型
話說最近把 GB10 中的 ollama 給多人使用後就常常掛點，先把我的解方記錄下來，最後還是得用 vllm + QUENE 才能達到產品級
GPU OOM
500 Error
timeout
編輯設定檔
sudo nano /etc/systemd/system/ollama.service
建議的設定檔
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_GPU_LAYERS=999"
Environment="OLLAMA_MODELS=/mnt/ai-models/ollama/models"
Environment="OLLAMA_FLASH_ATTENTION=1"
Environment="OLLAMA_KV_CACHE_TYPE=q8_0"
Environment="OLLAMA_NUM_PARALLEL=1"
Environment="OLLAMA_MAX_LOADED_MODELS=1"
Environment="OLLAMA_MAX_QUEUE=256"
Environment="OLLAMA_KEEP_ALIVE=10m"
為什麼這樣設
OLLAMA_NUM_PARALLEL=1
很多教學會設：
但實際上：
Parallel 越大，
Context Cache 會倍數成長。
例如：
NUM_PARALLEL=1VRAM 使用 30GBNUM_PARALLEL=4VRAM 使用 50GB+
很容易直接炸掉。
OLLAMA_MAX_LOADED_MODELS=1
避免：多個模型同時留在 VRAM。
多人使用時最容易發生。
OLLAMA_KEEP_ALIVE=10m
目前很多人設：
永久保留模型。
結果：
VRAM 永遠不釋放。
改：
10分鐘沒人用就卸載。
by Rain Chu | 6 月 6, 2026 | AI, 圖型處理
2026 年最受矚目的 AI 繪圖模型之一，莫過於 Ideogram 團隊正式釋出的：
Ideogram 4
這是 Ideogram 首次公開模型權重（Open Weight），也是目前開源陣營中，在：
- 文字生成（Text Rendering）
- 海報設計
- 品牌廣告
- 排版控制
- JSON 結構化提示詞
官方資料顯示，Ideogram 4 採用 9.3B 參數的單流 Diffusion Transformer（DiT）架構，並支援原生 2K 圖像生成。
本篇將帶你使用 ComfyUI，在本機部署 Ideogram 4。
系統需求
官方模型共有兩個版本：
| 版本 | 量化 |
|---|
| Ideogram 4 FP8 | 品質最佳 |
| Ideogram 4 NF4 | VRAM需求較低 |
目前 ComfyUI 官方整合版本主要使用：
其中 FP8 畫質最佳。
第一步：下載模型
ComfyUI 專用模型
官方：
Comfy-Org Ideogram-4
原始模型：
Ideogram 4 FP8 官方模型
第二步：放置模型檔案
依照官方說明建立目錄。
ComfyUI
│
├─ models
│ ├─ diffusion_models
│ │ ├─ ideogram4_fp8_scaled.safetensors
│ │ └─ ideogram4_unconditional_fp8_scaled.safetensors
│ │
│ ├─ text_encoders
│ │ └─ qwen3vl_8b_fp8_scaled.safetensors
│ │
│ └─ vae
│ └─ flux2-vae.safetensors
第三步：了解每個模型用途
ideogram4_fp8_scaled
主模型
負責：
ideogram4_unconditional_fp8_scaled
CFG 引導模型
負責：
- 提升細節
- 強化 Prompt Follow
- 改善品質
官方建議兩個模型一起使用。若只載入主模型雖可運作，但畫質會下降。
qwen3vl_8b_fp8_scaled
文字編碼器
負責：
- Prompt 理解
- JSON 理解
- 空間推理
- 海報版面配置
flux2-vae
VAE 解碼器
負責將 Latent 轉換成圖片。
第四步：更新 ComfyUI
Ideogram 4 需要最新版本的 ComfyUI。
更新方式：
或：
官方於 Day-0 即已原生支援 Ideogram 4。
第五步：載入官方 Workflow
ComfyUI 官方已提供範例工作流。
建議直接從：
Comfy Blog
下載 Workflow。
基礎工作流架構
Prompt
↓
Qwen3-VL Encoder
↓
Ideogram 4
↓
Sampler
↓
Flux VAE Decode
↓
Save Image
第六步：第一張圖片
測試 Prompt：
A futuristic cyberpunk city at night,
neon signs in Chinese,
cinematic lighting,
ultra detailed,
high contrast,
8k photography
生成尺寸：
推理模式：
第七步：體驗 JSON Prompt
Ideogram 4 最大特色就是：
Structured JSON Prompt
官方模型訓練時即使用 JSON Caption。
範例：海報設計
{
"scene_summary": "Professional technology conference poster",
"background": {
"description": "Modern convention center stage with blue ambient lighting, large LED screen, clean professional environment"
},
"style": {
"description": "Corporate marketing design, professional conference poster, clean typography, premium branding, modern layout"
},
"objects": [
{
"description": "Conference stage",
"bbox": [100, 150, 900, 850],
"colors": ["#0A2540", "#1E88E5", "#FFFFFF"]
}
],
"text_elements": [
{
"text": "AI SUMMIT 2026",
"bbox": [150, 120, 850, 260],
"style": "Large bold white sans-serif title"
},
{
"text": "Future of Artificial Intelligence",
"bbox": [180, 280, 820, 350],
"style": "Medium white subtitle"
},
{
"text": "Taipei International Conference Center",
"bbox": [180, 1050, 820, 1120],
"style": "Small white footer text"
}
]
}
Bounding Box 控制
可直接指定位置。
{
"text_elements":[
{
"text":"SALE 50%",
"bbox":[100,100,500,300]
}
]
}座標範圍：
原點：
這是目前 FLUX 與 Stable Diffusion 所不具備的能力。
色彩盤控制
品牌設計超級好用。
{
"color_palette":[
"#FF6600",
"#FFFFFF",
"#000000"
]
}官方支援：
與 FLUX 比較
FLUX 強項
Ideogram 4 強項
- Logo
- 海報
- Banner
- 電商素材
- 排版設計
- 中文文字生成
若你是：
Ideogram 4 很可能比 FLUX 更適合。
結論
Ideogram 4 不只是另一個 AI 繪圖模型。
它最大的創新在於：
把 Prompt 從自然語言升級為結構化設計規格。
透過：
- Qwen3-VL
- Diffusion Transformer
- JSON Prompt
- Bounding Box
- Color Palette
使用者終於可以像操作 Figma 一樣控制 AI 生成內容。
對於需要：
- 海報設計
- 品牌素材
- Banner 製作
- AI Agent 自動產圖
的開發者來說，Ideogram 4 是目前最值得研究與部署的開源模型之一。
by Rain Chu | 6 月 6, 2026 | AI, 繪圖
AI 圖像生成正式進入「設計級控制」時代
近兩年 AI 繪圖領域競爭激烈，從 Midjourney、Stable Diffusion、FLUX，到 Google Imagen，各家模型都在追求更好的畫質與更精準的提示詞理解能力。
真正困擾設計師與企業用戶的問題其實不是畫質，而是以下的問題：
- 文字總是生成錯誤
- 排版無法控制
- Logo 與標題位置不準確
- 無法符合品牌色彩規範
- 每次生成結果都像在「抽卡」
2026 年 6 月，Ideogram 正式推出最新開源模型：
Ideogram 4.0
這不僅是 Ideogram 首次公開權重（Open Weight）模型，更被許多開發者視為目前最接近商業設計工作流程的 AI 圖像生成系統。
什麼是 Ideogram 4.0？
Ideogram 4.0 是一款從零開始訓練的 AI 圖像生成模型，採用最新的：
Diffusion Transformer（DiT）架構
與傳統 Stable Diffusion 不同，Ideogram 4.0 使用：
- 34 層 Transformer
- 93 億參數（9.3B）
- 單流（Single Stream）設計
- 文字 Token 與影像 Token 共用同一套注意力機制
官方稱其為：
Single-Stream Diffusion Transformer（DiT）
這種架構讓模型能更深入理解文字與影像之間的關聯，提高提示詞遵循能力（Prompt Adherence）與版面控制能力。
核心架構解析
1. 文字編碼器（Text Encoder）
Ideogram 4.0 並未使用傳統的 CLIP 或 T5 「文字編碼器（Text Encoder）」。
而是採用了：
Qwen3-VL-8B-Instruct
作為文字理解引擎。
其特色包括：
- 視覺語言模型（Vision Language Model）
- 僅使用文字模式
- 提取 13 個中間層隱藏狀態
- 將多層特徵串接後輸入 DiT
這種設計能同時保留：
讓模型對複雜提示詞有更深層的理解能力。
2. DiT 主幹網路
Ideogram 4.0 採用：
- 34 Layers
- Embedding Dimension：4608
- 18 Attention Heads
- SwiGLU Feed Forward
總參數量達：
9.3 Billion Parameters
目前已是開源 AI 繪圖模型中最頂尖的規模之一。
3. VAE 解碼器
使用凍結（Frozen）的：
KL VAE
特性：
- 8× 空間壓縮
- 128 Latent Channels
負責將潛在空間（Latent Space）轉換為最終圖像。
4. Flow Matching 取樣器
不同於傳統 DDPM。
Ideogram 4.0 採用：
Euler Flow Matching
搭配：
Asymmetric CFG
特色：
- 提升生成效率
- 改善細節品質
- 更穩定的提示詞遵循能力
官方提供三種推理模式：
| 模式 | Steps |
|---|
| V4_TURBO | 12 |
| V4_DEFAULT | 20 |
| V4_QUALITY | 48 |
品質模式會在最後階段降低引導強度，進一步提升真實感。
最大突破：JSON 結構化提示詞
這是 Ideogram 4.0 最具革命性的地方。
過去 AI 繪圖都依賴自然語言：
A beautiful girl standing beside a lake...
Ideogram 4.0 則改為：
{ "background": "...", "objects": [...], "texts": [...], "style": {...}}模型訓練時完全使用 JSON 描述，因此天生理解結構化資訊。
Bounding Box 精準版面控制
支援 Bounding Box：
{ "bbox": [100,100,400,400]}採用：
可直接指定：
這是過去 Midjourney、Stable Diffusion 很難做到的功能。
色彩盤控制（Color Palette）
可直接指定品牌色：
{ "colour_palette": [ "#FF6600", "#FFFFFF", "#000000" ]}限制：
非常適合：
多語言文字生成能力大幅提升
Ideogram 一直以來最強的能力就是：
Text Rendering
也就是圖片內文字生成。
例如：
以往 AI 經常出現亂碼。
但 Ideogram 4.0 已能大幅提升：
等多語系文字品質。
原生支援 2K 輸出
解析度支援：
- 最小：256 × 256
- 最大：2048 × 2048
且：
例如：
- YouTube Banner
- 網站橫幅
- 電商主圖
- 手機桌布
皆可直接生成。
設計工作流功能全面升級
除了模型本身之外，Ideogram 平台也同步推出多項設計工具：
Prompt Edit
直接修改既有圖片中的特定區域。
Magic Fill
局部重繪。
Remix
基於現有圖片重新生成。
Extend / Reframe
擴展畫布與調整比例。
Upscale
提高解析度。
Transparent Background
直接輸出透明背景 PNG。
MCP 整合
可接入 AI Agent 工作流程。
Editable Text Layers
未來將支援真正可編輯的文字圖層功能。
Ideogram 4.0 與 Google Imagen 誰更強？
若比較：
- Google Imagen
- FLUX
- Stable Diffusion
- Ideogram 4.0
目前 Ideogram 最大優勢在於：
✅ 文字生成能力
✅ 排版控制能力
✅ JSON 結構化設計流程
✅ 開源權重
✅ 可自行部署
而 Google Imagen 仍在：
方面維持優勢。
若是企業設計工作流，Ideogram 4.0 已經是極具競爭力的選擇。
官方資源
官方網站
Ideogram 官方網站
模型介紹
Ideogram 4.0 Model Page
技術部落格
Ideogram 4.0 Technical Details
API 文件
Ideogram Developer API
GitHub
Ideogram 4 GitHub Repository
Hugging Face
Ideogram 4 Hugging Face Collection
Ideogram 4.0 不只是另一個 AI 繪圖模型。
它最大的突破在於：
把 AI 繪圖從「描述圖片」提升到「設計圖片」。
透過：
- Diffusion Transformer（DiT）
- Qwen3-VL 編碼器
- JSON Prompt
- Bounding Box 控制
- 色彩盤控制
- 可編輯文字圖層
Ideogram 4.0 正逐步接近 Photoshop、Illustrator 與 Figma 所代表的專業設計工作流程。
對於品牌設計、電商素材、廣告製作與 AI Agent 自動化內容生成來說，Ideogram 4.0 很可能會成為 2026 年最值得關注的開源 AI 圖像生成模型之一
by Rain Chu | 6 月 2, 2026 | AI, Ollama, 模型
想把 Ollama Client 安裝在 Windows 筆電上，但模型實際運行在另一台 AI 伺服器（例如 NVIDIA Spark、Linux GPU 主機）嗎？
本文教你如何透過 PowerShell 指定遠端 Ollama Server，讓本機直接使用遠端模型資源。
Ollama 遠端架構說明
一般情況下，Ollama 預設會連接本機：
但如果你的 AI 模型部署在另一台主機，例如：
則可以透過環境變數指定遠端伺服器。
Step 1：設定遠端 Ollama Host
開啟 PowerShell：
$Env:OLLAMA_HOST = "192.168.0.1:11434"
若使用 HTTP 格式也可以：
$Env:OLLAMA_HOST = "http://192.168.0.1:11434"
建議使用第二種寫法較完整。
Step 2：確認連線是否成功
執行：
若成功，將會看到遠端伺服器上的模型清單：
NAME ID SIZEclaude xxxxxx 45 GBkimi-k2.5:cloud xxxxxx 22 GBqwen3:32b xxxxxx 20 GBdeepseek-r1:70b xxxxxx 42 GB
若出現：
Error: connection refused
請確認：
- 遠端 Ollama 是否啟動
- 防火牆是否開放 11434 Port
- Ollama 是否監聽 0.0.0.0
Linux 可檢查：
sudo ss -tlnp | grep 11434
正常應看到：
Step 3：啟動 Claude
確認模型存在後：
系統將直接透過遠端 Ollama 執行 Claude。
Step 4：指定模型版本
例如使用 Kimi K2.5 Cloud 版本：
ollama launch claude --model kimi-k2.5:cloud
也可以切換成其他模型：
ollama launch claude --model qwen3:32b
ollama launch claude --model deepseek-r1:70b
ollama launch claude --model gemma3:27b
每次開機自動設定 OLLAMA_HOST
如果不想每次都輸入：
$Env:OLLAMA_HOST = "192.168.0.240:11434"
可永久寫入 Windows 使用者環境變數：
[System.Environment]::SetEnvironmentVariable( "OLLAMA_HOST", "http://192.168.0.240:11434", "User")
重新開啟 PowerShell 後生效。
驗證：
輸出：
http://192.168.0.240:11434
常見問題排除
無法連線
測試：
curl http://192.168.0.240:11434/api/tags
若有回傳 JSON 表示正常。
Linux Server 未開放外部連線
編輯 Ollama Service：
sudo systemctl edit ollama
加入：
[Service]Environment="OLLAMA_HOST=0.0.0.0:11434"
重新載入：
sudo systemctl daemon-reloadsudo systemctl restart ollama
查看目前設定
Windows：
Linux：
透過設定 OLLAMA_HOST，即可讓 Windows 電腦上的 Ollama Client 直接連接遠端 AI 伺服器，將模型運算交由高效能 GPU 主機處理，而本機僅作為操作介面。
這種架構特別適合：
- NVIDIA Spark AI 工作站
- 家用 GPU 伺服器
- 多人共用 Ollama Server
- 企業內部 AI 平台
- AI 開發與測試環境
只需一行指令：
$Env:OLLAMA_HOST = "192.168.0.240:11434"
即可讓你的 Windows PC 立即接管遠端 Ollama 的所有模型能力。
by Rain Chu | 5 月 25, 2026 | AI, claude, Ollama, 模型
Claude Code 最大特色之一，就是它能直接理解整個專案目錄、修改檔案、執行 CLI 指令，甚至自動修復程式碼問題。
但許多人最在意的是：
- API 費用太高
- 原始碼不想送雲端
- 想完全離線使用
- 希望使用自己的 Local LLM
現在透過 Ollama 官方網站 與 LM Studio 官方網站，已經可以讓 Claude Code 直接使用本地模型。
本篇文章會完整介紹：
- Claude Code 是什麼
- 如何讓 Claude Code 使用 Local LLM
- Ollama 與 LM Studio 差異
- 三種實作方式
- Web Search 功能啟用
- 常用 CLI 指令
- 適合的模型推薦
什麼是 Claude Code？
Claude 官方網站 的 Claude Code 是 Anthropic 推出的 AI Coding Agent。
它並不是單純聊天工具，而是：
- 能讀取整個專案
- 可修改程式碼
- 可執行 Terminal 指令
- 可自動修 Bug
- 可跨多檔案操作
- 支援 Agent Workflow
官方描述 Claude Code 是一個：
AI-powered coding assistant that helps you build features, fix bugs, and automate development tasks.
為什麼大家開始用 Local LLM？
Local LLM 的優勢非常明顯：
| 功能 | 雲端模型 | Local LLM |
|---|
| 隱私 | 程式碼送雲端 | 完全本地 |
| 費用 | API Token 收費 | 幾乎免費 |
| 離線 | 不可 | 可 |
| 速度 | 看網路 | 本機 GPU |
| 自訂模型 | 有限制 | 完全自由 |
尤其現在 Ollama 已支援 Anthropic Messages API，相容 Claude Code。
方法一：Claude + VSCode + Ollama / LM Studio
這是目前最多人使用的方法。
架構圖
Claude Code ↓VSCode Extension ↓Ollama / LM Studio ↓Local LLM
安裝流程
Step 1：安裝 Claude Code
官方下載：
Claude Download 官方下載頁面
Linux / macOS：
curl -fsSL https://claude.ai/install.sh | bash
Step 2：安裝 Ollama
官方網站：
Ollama 官方網站
Linux：
curl -fsSL https://ollama.com/install.sh | sh
Step 3：下載模型
推薦模型：
或：
ollama pull deepseek-coder-v2
Step 4：啟動模型
LM Studio 使用方式
如果你不喜歡 CLI，可以使用 LM Studio。
LM Studio 官方網站
LM Studio 特點：
- GUI 操作
- 支援 OpenAI API
- 支援本地 Server
- 支援 GPU Offload
- Windows 體驗很好
有些使用者甚至認為 LM Studio 在 Windows + iGPU 上比 Ollama 更方便。
Claude Code 連接 Ollama
設定環境變數：
export ANTHROPIC_BASE_URL=http://localhost:11434
export ANTHROPIC_AUTH_TOKEN=your_token
export CLAUDE_CODE_EFFORT_LEVEL=low
執行：
Claude Code 即會透過 Ollama 使用本地模型。
方法二：使用 ollama launch claude
這是 Ollama 官方提供的整合方式。
官方文件：
Ollama Claude Code Integration 文件
安裝方式
更新 Ollama：
執行：
這會：
- 自動設定 Claude Code
- 自動串接 Anthropic-compatible API
- 使用本地模型
官方支援模型
目前官方文件中提到可搭配：
等模型。
方法三：使用 free-claude-code Gateway
GitHub：
free-claude-code GitHub 專案
這個專案本質上是一個：
Claude Code Gateway Proxy
它能：
- 將 Claude Code API 轉向 Local LLM
- 模擬 Anthropic API
- 轉接 Ollama / OpenAI API
- 避免官方限制
適合使用情境
非常適合：
- 本地 AI 開發環境
- 多模型切換
- 企業內網
- 私有化部署
- AI Coding Lab
啟動方式
通常為：
git clone https://github.com/Alishahryar1/free-claude-codecd free-claude-codenpm installnpm start
再讓 Claude Code 指向 Gateway。
啟用 Ollama Web Search 功能
Ollama 現在已支援 Web Search。
官方文件：
Ollama Web Search 文件
Web Search 功能用途
可以讓 Local LLM：
- 搜尋最新資訊
- 查 Stack Overflow
- 查 GitHub
- 查文件
- 即時查詢
這對 Claude Code 非常重要。
因為 Coding Agent 若沒有 Web Search：
- 容易使用舊知識
- 不知道最新版套件
- 不知道最新 API
啟用方式
通常：
或：
export OLLAMA_WEB_SEARCH=true
依照官方文件設定即可。
推薦 Local LLM 模型
程式開發最佳選擇
| 模型 | 推薦度 | 特點 |
|---|
| Qwen3-Coder | ★★★★★ | Coding 能力極強 |
| DeepSeek Coder V2 | ★★★★★ | 開源熱門 |
| GLM-5 | ★★★★☆ | 中文能力佳 |
| Kimi K2.5 | ★★★★☆ | 長上下文 |
| Gemma 3 | ★★★☆☆ | 輕量快速 |
Claude Code 常用指令
啟動 Claude Code
指定 API
ANTHROPIC_BASE_URL=http://localhost:11434 claude
指定模型
ANTHROPIC_MODEL=qwen3-coder claude
查看 Ollama 模型
啟動 Ollama Server
Ollama vs LM Studio 比較
| 功能 | Ollama | LM Studio |
|---|
| CLI | 強 | 普通 |
| GUI | 基本 | 非常完整 |
| Windows | 普通 | 非常好 |
| API | 強 | 強 |
| Docker | 強 | 普通 |
| GPU 管理 | CLI | GUI |
| 新手友善 | 中等 | 高 |
Claude Code + Local LLM 的實際優勢
1. 幾乎零成本
不再需要：
- Anthropic API
- OpenAI API
- Token 費用
2. 完全私有化
原始碼不離開本機。
非常適合：
3. 多模型自由切換
你可以：
- 今天用 Qwen
- 明天用 DeepSeek
- 後天用 Kimi
不受平台限制。
我的實際建議
如果你是：
新手
建議：
因為 GUI 最簡單。
Linux / DevOps / AI 工程師
建議：
CLI 整合能力非常強。
企業環境
建議：
free-claude-code Gateway + Ollama
可做到：
- API Gateway
- 多模型管理
- 權限控管
- 私有化部署
結論
Claude Code 正在快速成為下一代 AI Coding Agent。
而現在最重要的變化是：
Claude Code 已經不再只能綁定官方 Claude API。
透過：
- Ollama
- LM Studio
- free-claude-code
- Anthropic-compatible API
你已經可以：
- 完全本地化
- 零 API 成本
- 自由切換模型
- 保護原始碼隱私
對於 AI 開發者與工程團隊來說，這將是非常重要的開發趨勢。
下載資源
官方網站
參考資料
近期留言