Select Page
如何使用 Groq API 快速測試和部署大型語言模型

如何使用 Groq API 快速測試和部署大型語言模型

by | 3 月 18, 2025 | AI, API

Views: 15

Groq 是一家擁有高效能硬體運算的公司，提供大型語言模型（LLM）的推理運算提供加速解決方案，他們的硬體相較於傳統 GPU，更加快速，並且支援多種主流開源模型，包括 Llama 3、Mistral 等。

Groq API 的主要特色

1. 提供 Playground 供快速測試

為了讓開發者能夠直觀地體驗和測試模型，Groq 提供了線上 Playground。​使用者可以在此平台上直接輸入指令或問題，立即獲得模型的回應，無需進行繁瑣的設定或部署。​

2. 詳細的 API 文件

Groq 提供了詳細且易於理解的 API 文件，涵蓋從基本使用到進階功能的各種說明，協助開發者快速上手並整合到自己的專案中。​

3. 高速反應能力

得益於 Groq 的硬體架構，API 的反應速度極快，能夠即時處理大型語言模型的推理需求，提升使用者體驗。​

如何開始使用 Groq API

  1. 註冊並獲取 API 金鑰：
    • 前往 Groq 官方網站，點擊「Login」或「Get API Key」，按照提示完成註冊並獲取 API 金鑰。​
  2. 選擇開發環境並調用 API：
    • Python：​使用 OpenAI 兼容的客戶端調用 Groq 提供的模型。
import openai

openai.api_key = 'YOUR_GROQ_API_KEY'
openai.api_base = 'https://api.groq.com/openai/v1'

response = openai.ChatCompletion.create(
    model="groq/llama3-70b-8192",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "請介紹一下 Groq API 的特色。"}
    ]
)

print(response.choices[0].message['content'])

其他語言：​Groq 的 API 兼容 OpenAI 的接口，因此在其他編程語言中，只需將 API 基礎 URL 更改為 https://api.groq.com/openai/v1，並使用您的 Groq API 金鑰即可。

參考資料

Flowith：免費無需邀請碼的最強 AI 自動化工具
如何在 NVIDIA 平台上免費使用 DeepSeek R1 模型
Open-Sora：開源的 11B 參數 AI 影片生成工具，無需等待 Sora

Open-Sora：開源的 11B 參數 AI 影片生成工具，無需等待 Sora

by | 3 月 18, 2025 | AI, 影片製作

Views: 11

​Open-Sora 這個 GitHub 專案，提供類似於 OpenAI 的 Sora 的影片生成模型，讓更多人能夠高效地製作高品質影片，無需再等待 Sora 的推出。

Open-Sora 的主要特色

1. 11B 參數模型

Open-Sora 採用了擁有 110 億參數的大型模型架構，這使其在影片生成的質量和細節上達到業界領先水平。​與其他需要大量資源的模型相比，Open-Sora 以較低的成本實現了高品質的影片生成。 ​

2. 基於 PyTorch 和 xFormers

該專案基於 PyTorch 框架開發，並結合了 xFormers 技術，這使得模型在計算效率和資源利用上有顯著提升。​開發者可以利用這些技術，進行更高效的模型訓練和推理。​

3. 支援本地運行

Open-Sora 支援在本地環境中運行，使用者可以在自己的設備上部署和運行模型，這不僅提高了資料的私密性，還減少了對外部伺服器的依賴。​這對於需要處理敏感資料的使用者尤為重要。​

如何開始使用 Open-Sora

  1. 獲取程式碼：​前往 Open-Sora 的 GitHub 儲存庫，克隆或下載最新的程式碼。
  2. 安裝依賴項：​確保您的環境中已安裝 PyTorch，並根據專案需求安裝其他必要的 Python 套件。​
  3. 配置環境：​根據官方文件，配置您的運行環境，包括設定模型參數和路徑。​
  4. 運行模型：​按照指導，運行模型並生成影片。您可以根據需要調整輸入參數，以獲得不同的影片效果。
如何使用 Magnific 實現高品質的圖片風格轉換​
探索 Wan 2.1：阿里巴巴推出的高效 AI 影片生成模型，融入哪吒等東方元素
Flowith：免費無需邀請碼的最強 AI 自動化工具
Flowith：免費無需邀請碼的最強 AI 自動化工具

Flowith：免費無需邀請碼的最強 AI 自動化工具

by | 3 月 18, 2025 | AI, Chat, Prompt, Tool

Views: 13

Flowith 最近正迅速崛起，成為超越 Manus 的最強 AI 自動化工具。​它不僅免費且無需邀請碼，還具備強大的 ORACLE 模式、自主知識花園創建等功能，為用戶提供無與倫比的 AI 互動體驗。​

Flowith 的主要特色

1. 免費使用，無需邀請碼

與其他需要邀請碼的 AI 工具不同，Flowith 完全免費，任何人都可以立即註冊並使用，無需等待或邀請碼。​

2. ORACLE 模式：自動化完成文件、簡報製作

Flowith 的 ORACLE 模式是一項突破性的功能，允許數十個甚至數百個 AI 代理同時為您工作，無需手動搭建工作流。​這使得複雜的數據收集和分析任務變得輕而易舉，並能自動生成文件和簡報等。 ​

3. 知識花園：創建並變現知識庫

Flowith 的「知識花園」功能讓您可以將自己的知識資源組織成系統化的知識庫，並可選擇對外分享或收費，實現知識變現。 ​

4. 邀請鏈接：獲得額外免費對話次數

透過邀請朋友加入 Flowith，您可以獲得額外的 500 次免費對話次數，提升使用體驗。​

邀請碼如下：

https://flowith.io/invitation?code=WPS1WR

如何使用 Flowith

  1. 註冊帳號：​訪問 Flowith 官方網站，點擊「註冊」並填寫相關資訊。​
  2. 探索 ORACLE 模式：​在主介面中，選擇 ORACLE 模式，輸入您的需求，系統將自動規劃並執行相關任務。 ​https://doc.flowith.io
  3. 建立知識花園：​上傳您的資料或文件，Flowith 會自動將其拆分為知識種子，幫助您構建個人知識庫。 ​

參考資料

如何在 NVIDIA 平台上免費使用 DeepSeek R1 模型
Manus 沒邀請碼怎麼辦？用 OpenManus 本地免費部署 Ollama 模型，三分鐘搞定
如何在 NVIDIA 平台上免費使用 DeepSeek R1 模型

如何在 NVIDIA 平台上免費使用 DeepSeek R1 模型

by | 3 月 17, 2025 | AI, Chat, Tool

Views: 14

DeepSeek R1 模型已經在 NVIDIA 平台上線，這是一個擁有 6710 億參數的開放式專家混合模型（MoE），專為解決需要高級 AI 推理的問題而設計的，但就是官方API不穩定，只能到處尋找替代的解決方案。​

DeepSeek R1 的主要特點

  1. API 友好性：​DeepSeek R1 提供了多種 API 接口，支持 Python、LangChain、Node.js 和 Shell 等，方便開發者根據需求選擇合適的開發環境。​
  2. 免費使用額度：​NVIDIA 為個人和企業用戶提供了免費的使用額度。個人用戶可獲得 1000 點額度，企業用戶則可獲得 4000 點額度，讓更多人能夠體驗和使用該模型。 ​

如何開始使用 DeepSeek R1

以下是使用 DeepSeek R1 的基本步驟：

  1. 註冊並獲取 API 密鑰：
    • 前往 NVIDIA NIM 平台的 DeepSeek R1 頁面：
    • 點擊右上角的「Login」或「Get API Key」，按照提示完成註冊並獲取 API 密鑰。​
  2. 選擇開發環境並調用 API：
    • Python：​使用 OpenAI 兼容的客戶端調用 DeepSeek R1。​ python複製編輯
    • LangChain：​可將 DeepSeek R1 集成到 LangChain 框架中，實現更複雜的語言處理任務。​
    • Node.js 和 Shell：​NVIDIA 提供了相應的 SDK 和示例代碼，開發者可根據官方文檔進行集成。

用 python 來做示範

from openai import OpenAI

client = OpenAI(
  base_url = "https://integrate.api.nvidia.com/v1",
  api_key = "YOUR_API_KEY"
)

completion = client.chat.completions.create(
  model="deepseek-ai/deepseek-r1",
  messages=[{"role":"user","content":"你的問題內容"}],
  temperature=0.6,
  top_p=0.7,
  max_tokens=4096,
  stream=True
)

for chunk in completion:
  if chunk.choices[0].delta.content is not None:
    print(chunk.choices[0].delta.content, end="")

注意事項

  • 使用額度：​請留意您的免費使用額度，合理規劃 API 調用次數。

參考資料

https://build.nvidia.com/deepseek-ai/deepseek-r1

Manus 沒邀請碼怎麼辦？用 OpenManus 本地免費部署 Ollama 模型，三分鐘搞定
Manus 沒邀請碼怎麼辦？用 OpenManus 本地免費部署 Ollama 模型，三分鐘搞定

Manus 沒邀請碼怎麼辦？用 OpenManus 本地免費部署 Ollama 模型，三分鐘搞定

by | 3 月 17, 2025 | AI, Chat, Ollama, 模型

Views: 11

🚀 1. 本地端完美對接 Ollama AI 模型

OpenManus 最大的亮點在於能與目前最流行的 Ollama 本地端 AI 大模型平台進行完美整合。

  • Ollama 是一個輕量、高效的 AI 模型管理工具，讓你可以輕鬆在自己的電腦上運行各種強大的大模型（如 Llama3、Qwen、DeepSeek 系列模型等）。
  • OpenManus 透過 Ollama API 與這些模型無縫互動，你能輕易在本地體驗到媲美線上服務的智慧功能，並保護個人隱私。

💻 2. 跨平台支援 Windows、Mac、Linux

無論你使用哪個平台，OpenManus 都有完整的跨平台支援，讓你輕鬆安裝與運行：

  • Windows 用戶可透過 Conda 或 Docker 快速部署。
  • macOS 用戶可以使用 Homebrew 或直接透過終端機運行。
  • Linux 用戶則能自由選擇 Docker 或直接透過原生方式安裝。

🎯 3. 無需邀請碼，即裝即用！

不同於原始封閉的 Manus 需要透過邀請碼才能使用，OpenManus 堅持完全開源與自由的精神。
無須註冊、無須邀請碼，直接部署到自己的電腦，立即開始使用，毫無限制，這就是開源社群給予大家最棒的禮物。

如何快速部署 OpenManus？（以 Windows 為例）

只需幾個簡單步驟，即可享受本地端 AI 大模型：

建立 Conda 環境：

conda create -n openmanus python=3.12
conda activate openmanus

Git OpenManus 專案：

git clone https://github.com/mannaandpoem/OpenManus.git
cd OpenManus

安裝所需依賴：

pip install -r requirements.txt

修改設定檔（config.toml）：

cp config/config.example.toml config/config.toml

config.toml的內容如下，可以參考後修改

# Global LLM configuration
#[llm]
# model = "claude-3-7-sonnet-20250219"        # The LLM model to use
# base_url = "https://api.anthropic.com/v1/"  # API endpoint URL
# api_key = "YOUR_API_KEY"                    # Your API key
# max_tokens = 8192                           # Maximum number of tokens in the response
# temperature = 0.0                           # Controls randomness

# [llm] #AZURE OPENAI:
# api_type= 'azure'
# model = "YOUR_MODEL_NAME" #"gpt-4o-mini"
# base_url = "{YOUR_AZURE_ENDPOINT.rstrip('/')}/openai/deployments/{AZURE_DEPOLYMENT_ID}"
# api_key = "AZURE API KEY"
# max_tokens = 8096
# temperature = 0.0
# api_version="AZURE API VERSION" #"2024-08-01-preview"

[llm] #OLLAMA:
api_type = 'ollama'
model = "llama3.2"
base_url = "http://localhost:11434/v1"
api_key = "ollama"
max_tokens = 4096
temperature = 0.0

# Optional configuration for specific LLM models
#[llm.vision]
#model = "claude-3-7-sonnet-20250219"        # The vision model to use
#base_url = "https://api.anthropic.com/v1/"  # API endpoint URL for vision model
#api_key = "YOUR_API_KEY"                    # Your API key for vision model
#max_tokens = 8192                           # Maximum number of tokens in the response
#temperature = 0.0                           # Controls randomness for vision model

[llm.vision] #OLLAMA VISION:
api_type = 'ollama'
model = "llama3.2-vision"
base_url = "http://localhost:11434/v1"
api_key = "ollama"
max_tokens = 4096
temperature = 0.0

# Optional configuration for specific browser configuration
# [browser]
# Whether to run browser in headless mode (default: false)
#headless = false
# Disable browser security features (default: true)
#disable_security = true
# Extra arguments to pass to the browser
#extra_chromium_args = []
# Path to a Chrome instance to use to connect to your normal browser
# e.g. '/Applications/Google Chrome.app/Contents/MacOS/Google Chrome'
#chrome_instance_path = ""
# Connect to a browser instance via WebSocket
#wss_url = ""
# Connect to a browser instance via CDP
#cdp_url = ""

# Optional configuration, Proxy settings for the browser
# [browser.proxy]
# server = "http://proxy-server:port"
# username = "proxy-username"
# password = "proxy-password"

# Optional configuration, Search settings.
# [search]
# Search engine for agent to use. Default is "Google", can be set to "Baidu" or "DuckDuckGo".
# engine = "Google"

啟動 OpenManus 服務：

python main.py

之後打開瀏覽器就可以了

測試 OpenManus ：

可以輸入請他使用瀏覽器看某一個網站，並且執行SEO策略

打開 https://rain.tips/ 並且給予SEO的建議，並且把建議存放在桌面上.txt的文件

補充資料

Github

GraphRAG 使用本地端的 Ollama
GraphRAG與我踩過的坑