Select Page
完全免費無限制!使用 OpenAI 開源模型 gpt‑oss 在本地離線運行

完全免費無限制!使用 OpenAI 開源模型 gpt‑oss 在本地離線運行

gpt‑oss 教學,可以在 16 GB 筆電上免費使用 OpenAI 的開源 gpt‑oss‑20B / 120B GPT 模型,2025/8/5 OpenAI 終於推出的 gpt‑oss(包括 gpt‑oss‑20B 與 gpt‑oss‑120B)簡直是福音!這些開源模型支持在具備足夠資源的電腦上離線運行,完全不需要存取 OpenAI 伺服器,既保護資料隱私,又零使用量限制。

GPT‑OSS 模型概覽

  • gpt‑oss‑120B
    1170 億參數的強大模型,在主要推理基準上接近 OpenAI 的 o4‑mini 表現,同時支援 chain-of-thought 規劃,適用於需要高級推理能力的場景。
  • gpt‑oss‑20B
    約 210 億參數,效能與 o3‑mini 相當,卻可在只需 16 GB 記憶體的裝置上運行,是輕量級的最佳選擇。

兩者皆採用 Mixture-of-Experts 架構(MoE),對每個 token 只啟用一部分參數,有效節省記憶體與運算資源。
模型授權為 Apache 2.0,開放商業使用、修改與分發。

為什麼它值得推薦?

  • 真·免費 & 無使用限制:完全無需訂閱、不計費,也無 API 次數限制。
  • 離線運行,資料更安全:不連網執行,所有運算都在本地完成,隱私無虞。
  • 高效能與實用性並重:gpt‑oss‑20B 適合筆電、家庭工作站;gpt‑oss‑120B 則適用於高性能 GPU 主機。

如何開始在本地使用 GPT‑OSS?

以下以 Ollama 為例,快速上手流程:

  1. 安裝 Ollama(適用於 Windows / macOS / Linux)。
  2. 使用指令下載模型:ollama pull gpt‑oss:20b
  3. 啟動模型聊天介面:ollama run gpt‑oss:20b
  4. 要完全離線,也可在 Ollama 設定中啟用「飛航模式」。
ollama pull gpt‑oss:20b   # 適合 16 GB 裝置
ollama pull gpt‑oss:120b  # 適用於 GPU ≥ 60 GB 設備

對部分硬體較低端的使用者,也可透過像 llama.cpp 加上 GGUF 精簡版模型運行,建議至少 14 GB 記憶體以獲得流暢回應。

歸納總結

模型版本適用裝置模型特性
gpt‑oss‑20B筆電 / Mac 開發者約 210 億參數、效能近 o3‑mini
gpt‑oss‑120B高階工作站 / GPU 主機約 1170 億參數、推理接近 o4‑mini

兩者皆具備開源特性,可離線運行、免費使用、無使用量限制,非常適合自主部署與隱私需求高的專案。此外,也可透過 Hugging Face、Azure、AWS 等多平台取得模型。

同場加映

  1. 可以用於 mac mini 建議用 oss-120B 放在 MAC 128G 共同記憶體以上的機器,可以有每秒 40 token
  2. 不想買機器的,可以先用 openrouter 或是 Groq
  3. 內建有 BrowserUse,Python,MCP
  4. 可以控制推理強度
  5. MoE混合推理模型
  6. 支援企業級應用 vLLMSGLang
  7. 可以用於 Agent,微調
  8. 原生支援MXFP4,ollama等無須轉換

參考資料

https://github.com/openai/gpt-oss