Select Page
如何使用 Groq API 快速測試和部署大型語言模型

如何使用 Groq API 快速測試和部署大型語言模型

Views: 28

Groq 是一家擁有高效能硬體運算的公司,提供大型語言模型(LLM)的推理運算提供加速解決方案,他們的硬體相較於傳統 GPU,更加快速,並且支援多種主流開源模型,包括 Llama 3、Mistral 等。

Groq API 的主要特色

1. 提供 Playground 供快速測試

為了讓開發者能夠直觀地體驗和測試模型,Groq 提供了線上 Playground。​使用者可以在此平台上直接輸入指令或問題,立即獲得模型的回應,無需進行繁瑣的設定或部署。​

2. 詳細的 API 文件

Groq 提供了詳細且易於理解的 API 文件,涵蓋從基本使用到進階功能的各種說明,協助開發者快速上手並整合到自己的專案中。​

3. 高速反應能力

得益於 Groq 的硬體架構,API 的反應速度極快,能夠即時處理大型語言模型的推理需求,提升使用者體驗。​

如何開始使用 Groq API

  1. 註冊並獲取 API 金鑰
    • 前往 Groq 官方網站,點擊「Login」或「Get API Key」,按照提示完成註冊並獲取 API 金鑰。​
  2. 選擇開發環境並調用 API
    • Python:​使用 OpenAI 兼容的客戶端調用 Groq 提供的模型。
import openai

openai.api_key = 'YOUR_GROQ_API_KEY'
openai.api_base = 'https://api.groq.com/openai/v1'

response = openai.ChatCompletion.create(
    model="groq/llama3-70b-8192",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "請介紹一下 Groq API 的特色。"}
    ]
)

print(response.choices[0].message['content'])

其他語言:​Groq 的 API 兼容 OpenAI 的接口,因此在其他編程語言中,只需將 API 基礎 URL 更改為 https://api.groq.com/openai/v1,並使用您的 Groq API 金鑰即可。

參考資料

Open-Sora:開源的 11B 參數 AI 影片生成工具,無需等待 Sora

Open-Sora:開源的 11B 參數 AI 影片生成工具,無需等待 Sora

Views: 18

Open-Sora 這個 GitHub 專案,提供類似於 OpenAI 的 Sora 的影片生成模型,讓更多人能夠高效地製作高品質影片,無需再等待 Sora 的推出。

Open-Sora 的主要特色

1. 11B 參數模型

Open-Sora 採用了擁有 110 億參數的大型模型架構,這使其在影片生成的質量和細節上達到業界領先水平。​與其他需要大量資源的模型相比,Open-Sora 以較低的成本實現了高品質的影片生成。 ​

2. 基於 PyTorch 和 xFormers

該專案基於 PyTorch 框架開發,並結合了 xFormers 技術,這使得模型在計算效率和資源利用上有顯著提升。​開發者可以利用這些技術,進行更高效的模型訓練和推理。​

3. 支援本地運行

Open-Sora 支援在本地環境中運行,使用者可以在自己的設備上部署和運行模型,這不僅提高了資料的私密性,還減少了對外部伺服器的依賴。​這對於需要處理敏感資料的使用者尤為重要。​

如何開始使用 Open-Sora

  1. 獲取程式碼:​前往 Open-Sora 的 GitHub 儲存庫,克隆或下載最新的程式碼。
  2. 安裝依賴項:​確保您的環境中已安裝 PyTorch,並根據專案需求安裝其他必要的 Python 套件。​
  3. 配置環境:​根據官方文件,配置您的運行環境,包括設定模型參數和路徑。​
  4. 運行模型:​按照指導,運行模型並生成影片。您可以根據需要調整輸入參數,以獲得不同的影片效果。
Flowith:免費無需邀請碼的最強 AI 自動化工具

Flowith:免費無需邀請碼的最強 AI 自動化工具

Views: 34

Flowith 最近正迅速崛起,成為超越 Manus 的最強 AI 自動化工具。​它不僅免費且無需邀請碼,還具備強大的 ORACLE 模式、自主知識花園創建等功能,為用戶提供無與倫比的 AI 互動體驗。​

Flowith 的主要特色

1. 免費使用,無需邀請碼

與其他需要邀請碼的 AI 工具不同,Flowith 完全免費,任何人都可以立即註冊並使用,無需等待或邀請碼。​

2. ORACLE 模式:自動化完成文件、簡報製作

Flowith 的 ORACLE 模式是一項突破性的功能,允許數十個甚至數百個 AI 代理同時為您工作,無需手動搭建工作流。​這使得複雜的數據收集和分析任務變得輕而易舉,並能自動生成文件和簡報等。 ​

3. 知識花園:創建並變現知識庫

Flowith 的「知識花園」功能讓您可以將自己的知識資源組織成系統化的知識庫,並可選擇對外分享或收費,實現知識變現。 ​

4. 邀請鏈接:獲得額外免費對話次數

透過邀請朋友加入 Flowith,您可以獲得額外的 500 次免費對話次數,提升使用體驗。​

邀請碼如下:

https://flowith.io/invitation?code=WPS1WR

如何使用 Flowith

  1. 註冊帳號:​訪問 Flowith 官方網站,點擊「註冊」並填寫相關資訊。​
  2. 探索 ORACLE 模式:​在主介面中,選擇 ORACLE 模式,輸入您的需求,系統將自動規劃並執行相關任務。 ​https://doc.flowith.io
  3. 建立知識花園:​上傳您的資料或文件,Flowith 會自動將其拆分為知識種子,幫助您構建個人知識庫。 ​

參考資料

如何在 NVIDIA 平台上免費使用 DeepSeek R1 模型

如何在 NVIDIA 平台上免費使用 DeepSeek R1 模型

Views: 21

DeepSeek R1 模型已經在 NVIDIA 平台上線,這是一個擁有 6710 億參數的開放式專家混合模型(MoE),專為解決需要高級 AI 推理的問題而設計的,但就是官方API不穩定,只能到處尋找替代的解決方案。​

DeepSeek R1 的主要特點

  1. API 友好性:​DeepSeek R1 提供了多種 API 接口,支持 Python、LangChain、Node.js 和 Shell 等,方便開發者根據需求選擇合適的開發環境。​
  2. 免費使用額度:​NVIDIA 為個人和企業用戶提供了免費的使用額度。個人用戶可獲得 1000 點額度,企業用戶則可獲得 4000 點額度,讓更多人能夠體驗和使用該模型。 ​

如何開始使用 DeepSeek R1

以下是使用 DeepSeek R1 的基本步驟:

  1. 註冊並獲取 API 密鑰
    • 前往 NVIDIA NIM 平台的 DeepSeek R1 頁面:
    • 點擊右上角的「Login」或「Get API Key」,按照提示完成註冊並獲取 API 密鑰。​
  2. 選擇開發環境並調用 API
    • Python:​使用 OpenAI 兼容的客戶端調用 DeepSeek R1。​ python複製編輯
    • LangChain:​可將 DeepSeek R1 集成到 LangChain 框架中,實現更複雜的語言處理任務。​
    • Node.jsShell:​NVIDIA 提供了相應的 SDK 和示例代碼,開發者可根據官方文檔進行集成。

用 python 來做示範

from openai import OpenAI

client = OpenAI(
  base_url = "https://integrate.api.nvidia.com/v1",
  api_key = "YOUR_API_KEY"
)

completion = client.chat.completions.create(
  model="deepseek-ai/deepseek-r1",
  messages=[{"role":"user","content":"你的問題內容"}],
  temperature=0.6,
  top_p=0.7,
  max_tokens=4096,
  stream=True
)

for chunk in completion:
  if chunk.choices[0].delta.content is not None:
    print(chunk.choices[0].delta.content, end="")

注意事項

  • 使用額度:​請留意您的免費使用額度,合理規劃 API 調用次數。

參考資料

https://build.nvidia.com/deepseek-ai/deepseek-r1

Manus 沒邀請碼怎麼辦?用 OpenManus 本地免費部署 Ollama 模型,三分鐘搞定

Manus 沒邀請碼怎麼辦?用 OpenManus 本地免費部署 Ollama 模型,三分鐘搞定

Views: 15

🚀 1. 本地端完美對接 Ollama AI 模型

OpenManus 最大的亮點在於能與目前最流行的 Ollama 本地端 AI 大模型平台進行完美整合。

  • Ollama 是一個輕量、高效的 AI 模型管理工具,讓你可以輕鬆在自己的電腦上運行各種強大的大模型(如 Llama3、Qwen、DeepSeek 系列模型等)。
  • OpenManus 透過 Ollama API 與這些模型無縫互動,你能輕易在本地體驗到媲美線上服務的智慧功能,並保護個人隱私。

💻 2. 跨平台支援 Windows、Mac、Linux

無論你使用哪個平台,OpenManus 都有完整的跨平台支援,讓你輕鬆安裝與運行:

  • Windows 用戶可透過 Conda 或 Docker 快速部署。
  • macOS 用戶可以使用 Homebrew 或直接透過終端機運行。
  • Linux 用戶則能自由選擇 Docker 或直接透過原生方式安裝。

🎯 3. 無需邀請碼,即裝即用!

不同於原始封閉的 Manus 需要透過邀請碼才能使用,OpenManus 堅持完全開源與自由的精神。
無須註冊、無須邀請碼,直接部署到自己的電腦,立即開始使用,毫無限制,這就是開源社群給予大家最棒的禮物。


如何快速部署 OpenManus?(以 Windows 為例)

只需幾個簡單步驟,即可享受本地端 AI 大模型:

建立 Conda 環境:

conda create -n openmanus python=3.12
conda activate openmanus

Git OpenManus 專案:

git clone https://github.com/mannaandpoem/OpenManus.git
cd OpenManus

安裝所需依賴:

pip install -r requirements.txt

修改設定檔(config.toml):

cp config/config.example.toml config/config.toml

config.toml的內容如下,可以參考後修改

# Global LLM configuration
#[llm]
# model = "claude-3-7-sonnet-20250219"        # The LLM model to use
# base_url = "https://api.anthropic.com/v1/"  # API endpoint URL
# api_key = "YOUR_API_KEY"                    # Your API key
# max_tokens = 8192                           # Maximum number of tokens in the response
# temperature = 0.0                           # Controls randomness

# [llm] #AZURE OPENAI:
# api_type= 'azure'
# model = "YOUR_MODEL_NAME" #"gpt-4o-mini"
# base_url = "{YOUR_AZURE_ENDPOINT.rstrip('/')}/openai/deployments/{AZURE_DEPOLYMENT_ID}"
# api_key = "AZURE API KEY"
# max_tokens = 8096
# temperature = 0.0
# api_version="AZURE API VERSION" #"2024-08-01-preview"

[llm] #OLLAMA:
api_type = 'ollama'
model = "llama3.2"
base_url = "http://localhost:11434/v1"
api_key = "ollama"
max_tokens = 4096
temperature = 0.0

# Optional configuration for specific LLM models
#[llm.vision]
#model = "claude-3-7-sonnet-20250219"        # The vision model to use
#base_url = "https://api.anthropic.com/v1/"  # API endpoint URL for vision model
#api_key = "YOUR_API_KEY"                    # Your API key for vision model
#max_tokens = 8192                           # Maximum number of tokens in the response
#temperature = 0.0                           # Controls randomness for vision model

[llm.vision] #OLLAMA VISION:
api_type = 'ollama'
model = "llama3.2-vision"
base_url = "http://localhost:11434/v1"
api_key = "ollama"
max_tokens = 4096
temperature = 0.0

# Optional configuration for specific browser configuration
# [browser]
# Whether to run browser in headless mode (default: false)
#headless = false
# Disable browser security features (default: true)
#disable_security = true
# Extra arguments to pass to the browser
#extra_chromium_args = []
# Path to a Chrome instance to use to connect to your normal browser
# e.g. '/Applications/Google Chrome.app/Contents/MacOS/Google Chrome'
#chrome_instance_path = ""
# Connect to a browser instance via WebSocket
#wss_url = ""
# Connect to a browser instance via CDP
#cdp_url = ""

# Optional configuration, Proxy settings for the browser
# [browser.proxy]
# server = "http://proxy-server:port"
# username = "proxy-username"
# password = "proxy-password"

# Optional configuration, Search settings.
# [search]
# Search engine for agent to use. Default is "Google", can be set to "Baidu" or "DuckDuckGo".
# engine = "Google"

啟動 OpenManus 服務:

python main.py

之後打開瀏覽器就可以了

測試 OpenManus :

可以輸入請他使用瀏覽器看某一個網站,並且執行SEO策略

打開 https://rain.tips/ 並且給予SEO的建議,並且把建議存放在桌面上.txt的文件

補充資料

Github

512GB Mac Studio 完美運行 DeepSeek R1!VRAM 調整攻略公開

512GB Mac Studio 完美運行 DeepSeek R1!VRAM 調整攻略公開

Views: 62

超大型語言模型(LLM)成為科技界矚目的焦點,以前這類模型通常需要極高的硬體門檻,要很多的 GPU 才能達成(需要好幾百萬),難以在本地設備上流暢運行。然而,現在配備 512GB 超大記憶體的 Mac Studio,約33萬台幣,就能輕鬆駕馭滿血版 DeepSeek R1,讓個人或企業用戶都能輕鬆享受超大型語言模型帶來的豐富應用價值!

為何 512GB 就足夠跑 DeepSeek R1?

DeepSeek R1 是一款擁有超過 6710 億參數的超級大型語言模型,理論上需超過 400GB 以上記憶體空間才能順暢載入。然而,DeepSeek R1 採用了特殊的 Mixture of Experts (MoE) 架構,儘管整體模型規模龐大,但實際上單次推理只會激活約 370 億參數,大幅減少記憶體的實際使用需求,讓 512GB 記憶體的 Mac Studio 就能輕鬆駕馭。

關鍵技巧:調整 VRAM 配置,釋放更大的 GPU 資源

Mac Studio 使用的是統一記憶體架構(Unified Memory),系統自動分配 GPU 使用的 VRAM 空間。預設情況下,VRAM是有限制的,不足以負荷 DeepSeek R1 這樣龐大的語言模型,但使用者可以透過調整系統參數,自由設定 GPU 的 VRAM 配置,以達到最大效能:

以下是關鍵指令:

sudo sysctl iogpu.wired_limit_mb=448000

透過這項設定,系統的 GPU VRAM 即可輕鬆擴展到 448GB,滿足 DeepSeek R1 等超大型模型的嚴苛需求,真正發揮 512GB 記憶體 Mac Studio 的硬體潛力。

⚠️ 貼心提醒:
調整 VRAM 前,建議備份重要資料。修改設定可能影響系統穩定性,請謹慎操作。

EXO 工具:連接多台 Mac,建立強大的分散式計算環境

如果你需要更強大的算力,還可以透過開源的 EXO 專案,將多台 Mac 電腦串聯起來,組成超強大的本地計算集群,以協同運行 DeepSeek R1 這類超大型語言模型。

透過 EXO,你可以:

  • 將多台 Mac Studio 連結成計算網絡。
  • 有效分散模型推理負載,提升整體效能。
  • 進一步降低單機的運算負擔,確保持續穩定運作。

這個方法尤其適合專業研究團隊、企業內部部署,甚至是有進階 AI 運算需求的開發者。

參考資料

https://zenn.dev/robustonian/articles/apple_silicon_vram