by Rain Chu | 3 月 17, 2025 | AI, Chat, Tool
DeepSeek R1 模型已經在 NVIDIA 平台上線，這是一個擁有 6710 億參數的開放式專家混合模型（MoE），專為解決需要高級 AI 推理的問題而設計的，但就是官方API不穩定，只能到處尋找替代的解決方案。
DeepSeek R1 的主要特點
- API 友好性：DeepSeek R1 提供了多種 API 接口，支持 Python、LangChain、Node.js 和 Shell 等，方便開發者根據需求選擇合適的開發環境。
- 免費使用額度：NVIDIA 為個人和企業用戶提供了免費的使用額度。個人用戶可獲得 1000 點額度，企業用戶則可獲得 4000 點額度，讓更多人能夠體驗和使用該模型。
如何開始使用 DeepSeek R1
以下是使用 DeepSeek R1 的基本步驟：
- 註冊並獲取 API 密鑰：
- 前往 NVIDIA NIM 平台的 DeepSeek R1 頁面：
- 點擊右上角的「Login」或「Get API Key」，按照提示完成註冊並獲取 API 密鑰。
- 選擇開發環境並調用 API：
- Python：使用 OpenAI 兼容的客戶端調用 DeepSeek R1。 python複製編輯
- LangChain：可將 DeepSeek R1 集成到 LangChain 框架中，實現更複雜的語言處理任務。
- Node.js 和 Shell：NVIDIA 提供了相應的 SDK 和示例代碼，開發者可根據官方文檔進行集成。
用 python 來做示範
from openai import OpenAI
client = OpenAI(
base_url = "https://integrate.api.nvidia.com/v1",
api_key = "YOUR_API_KEY"
)
completion = client.chat.completions.create(
model="deepseek-ai/deepseek-r1",
messages=[{"role":"user","content":"你的問題內容"}],
temperature=0.6,
top_p=0.7,
max_tokens=4096,
stream=True
)
for chunk in completion:
if chunk.choices[0].delta.content is not None:
print(chunk.choices[0].delta.content, end="")
注意事項
- 使用額度：請留意您的免費使用額度，合理規劃 API 調用次數。
參考資料
https://build.nvidia.com/deepseek-ai/deepseek-r1
by Rain Chu | 3 月 13, 2025 | AI, Chat, Ollama, 模型
超大型語言模型（LLM）成為科技界矚目的焦點，以前這類模型通常需要極高的硬體門檻，要很多的 GPU 才能達成(需要好幾百萬)，難以在本地設備上流暢運行。然而，現在配備 512GB 超大記憶體的 Mac Studio，約33萬台幣，就能輕鬆駕馭滿血版 DeepSeek R1，讓個人或企業用戶都能輕鬆享受超大型語言模型帶來的豐富應用價值！
為何 512GB 就足夠跑 DeepSeek R1？
DeepSeek R1 是一款擁有超過 6710 億參數的超級大型語言模型，理論上需超過 400GB 以上記憶體空間才能順暢載入。然而，DeepSeek R1 採用了特殊的 Mixture of Experts (MoE) 架構，儘管整體模型規模龐大，但實際上單次推理只會激活約 370 億參數，大幅減少記憶體的實際使用需求，讓 512GB 記憶體的 Mac Studio 就能輕鬆駕馭。
關鍵技巧：調整 VRAM 配置，釋放更大的 GPU 資源
Mac Studio 使用的是統一記憶體架構（Unified Memory），系統自動分配 GPU 使用的 VRAM 空間。預設情況下，VRAM是有限制的，不足以負荷 DeepSeek R1 這樣龐大的語言模型，但使用者可以透過調整系統參數，自由設定 GPU 的 VRAM 配置，以達到最大效能：
以下是關鍵指令：
sudo sysctl iogpu.wired_limit_mb=448000
透過這項設定，系統的 GPU VRAM 即可輕鬆擴展到 448GB，滿足 DeepSeek R1 等超大型模型的嚴苛需求，真正發揮 512GB 記憶體 Mac Studio 的硬體潛力。
⚠️ 貼心提醒：
調整 VRAM 前，建議備份重要資料。修改設定可能影響系統穩定性，請謹慎操作。
EXO 工具：連接多台 Mac，建立強大的分散式計算環境
如果你需要更強大的算力，還可以透過開源的 EXO 專案，將多台 Mac 電腦串聯起來，組成超強大的本地計算集群，以協同運行 DeepSeek R1 這類超大型語言模型。
透過 EXO，你可以：
- 將多台 Mac Studio 連結成計算網絡。
- 有效分散模型推理負載，提升整體效能。
- 進一步降低單機的運算負擔，確保持續穩定運作。
這個方法尤其適合專業研究團隊、企業內部部署，甚至是有進階 AI 運算需求的開發者。
參考資料
https://zenn.dev/robustonian/articles/apple_silicon_vram
by Rain Chu | 2 月 23, 2025 | Agent, AI, Chat, Prompt
硅基流動（SiliconFlow）是一家致力於加速通用人工智慧（AGI）普惠化的公司，主要可以讓生成式人工智慧惠及開發者和終端使用者使用，最近，硅基流動與華為雲合作，推出了基於昇騰雲的 DeepSeek R1 和 V3 推理服務，為使用者提供高效、穩定的 AI 模型推理體驗。
DeepSeek R1 與硅基流動的合作
DeepSeek R1 是一款由強化學習驅動的推理模型，旨在解決模型生成內容的重複性和可讀性問題。在強化學習之前，DeepSeek R1 引入了冷啟動數據，進一步優化推理效能。然而，近期由於 DeepSeek 官方伺服器頻繁出現繁忙狀態，許多使用者在使用時受到限制。
為了解決這一問題，硅基流動與華為雲合作，將 DeepSeek R1 部署在基於昇騰的計算平台上，提供更 穩定、高速 的 DeepSeek R1 API 服務，讓使用者可以在更低的成本下獲得優質的 AI 推理服務。
如何使用 DeepSeek R1 API
使用者可以透過 註冊硅基流動平台，取得 API 金鑰，並將 DeepSeek R1 模型整合到各種應用之中。硅基流動提供了詳細的 技術文件與教學，幫助開發者快速上手，充分發揮 DeepSeek R1 的強大功能。
硅基流動透過與華為雲的合作，成功解決了 DeepSeek R1 在使用過程中的伺服器繁忙問題，為開發者和終端使用者提供了一個 高效、穩定的 AI 模型推理平台。這不僅展現了 硅基流動的技術優勢，也體現了其在推動 AGI 普惠化 方面的努力。
API使用
by Rain Chu | 2 月 23, 2025 | AI, 程式開發
OpenRouter 是一個統一的大型語言模型（LLM）API 服務平台，可以讓使用者透過單一介面訪問多種大型語言模型。
主要特點：
- 多模型支援： OpenRouter 集成了多種預訓練模型，如 GPT-4、Gemini、Claude、DALL-E 等，按需求選擇適合的模型。
- 易於集成： 提供統一的 API 介面，方便與現有系統整合，無需自行部署和維護模型。
- 成本效益： 透過 API 調用，使用者無需購買昂貴的 GPU 伺服器，降低了硬體成本。
使用方法：
- 註冊帳號： 使用 Google 帳號即可快速註冊 OpenRouter。
- 選擇模型： 在平台上瀏覽並選擇適合的模型，部分模型提供免費使用。
- 調用 API： 使用統一的 API 介面，將選定的模型整合到您的應用中。
Cline 整合
OpenRouter 與 Cline 的整合為開發者提供了強大的 AI 編程體驗，Cline 是一款集成於 VSCode 的 AI 編程助手，支援多種大型語言模型（LLM），如 OpenAI、Anthropic、Mistral 等，透過 OpenRouter，Cline 能夠統一調用這些模型，簡化了不同模型之間的切換和管理，使用者只需在 Cline 的設定中選擇 OpenRouter 作為 API 提供者，並輸入相應的 API 金鑰，即可開始使用多種模型進行開發。這種整合不僅提升了開發效率，還降低了使用多模型的技術門檻。
DeepSeek R1
OpenRouter 現在也支援 DeepSeek R1 模型，DeepSeek R1 是一款高性能的開源 AI 推理模型，具有強大的數學、編程和自然語言推理能力。透過 OpenRouter，開發者可以在 Cline 中輕鬆調用 DeepSeek R1 模型，享受其強大的推理能力。這進一步豐富了開發者的工具選擇，讓他們能夠根據項目需求選擇最適合的模型。
近期留言