Arete-27B 本地部署教學:GGUF 下載、llama.cpp 與實測判讀

想測試同一顆開源底模經過價值觀後訓練,回答方式會改變多少,Arete-27B是一個可以下載到本機研究的案例。

它由 Nous Research 以 Qwen3.8-27B 為起點進行監督式微調,開發者明確把調整特定社會與政治議題的回答取向列為目標。

這篇先把模型定位說清楚,再提供 GGUF 下載、Ubuntu NVIDIA 環境的 llama.cpp 建置與啟動命令,最後整理怎麼比較回答。

模型立場、回答是否有事實根據,以及推理速度,應分開測試,不能用幾次政治問答就判定整體能力。

Arete-27B 是什麼?先分清開發者目標與客觀結論

官方模型卡將目標描述為強化開發者所稱的「西方價值觀」,並調整他們在原模型上觀察到的拒答、迴避與特定敘事。

這是 Nous Research 對研究問題與訓練方向的定義,不能直接當成所有中文模型的共同性質。

技術上,Arete-27B 使用監督式微調,也就是 SFT,沒有在這次後訓練使用強化學習或改變架構,訓練資料是文字,視覺編碼器保持凍結,它和 Hermes 出自同一開發團隊,但不是安裝 Hermes Agent 後自動獲得的另一套代理功能。

開發者公開了評估資料與評分定義,把事實呈現與回答框架分開計分,閱讀結果時,應一起看題目來源、必備事實、拒答如何處理,以及模型裁判的評分規則。這些定義會影響分數所能代表的範圍。

先選 GGUF:檔案大小不等於執行時記憶體

原始權重放在 Nous Research 的模型頁。若使用 llama.cpp,可改下載bartowski 的 GGUF 量化版本,這是量化作者提供的衍生檔案,來源與版本應分開記錄。

以下使用 NousResearch_Arete-27B-Q4_K_M.gguf 示範,該修訂版單檔約 17.20 GB,這只是磁碟檔案大小,執行時還要容納上下文快取、計算緩衝與系統本身,不能把它當作最低顯示記憶體需求。

記憶體不足時可以減少上下文、調整 GPU 卸載或改選更低量化,但部分運算放回 CPU 後可能明顯變慢。

先用短對話跑通,再增加上下文與任務長度,不要一開始就把模型支援的最大上下文全部配置出來。

若你平常使用本地 Agent,也可以對照模型大小、量化與任務完成率的判讀。

第一步:下載指定 GGUF,保留修訂版與雜湊

以下在 Ubuntu 建立專用目錄與下載用虛擬環境,不改動既有模型服務。

這是公開模型,正常下載不需要把帳號密碼寫進命令。

sudo apt update
sudo apt install -y git cmake build-essential curl libcurl4-openssl-dev libssl-dev python3-venv
mkdir -p "$HOME/AI/arete27b/models"
cd "$HOME/AI/arete27b"
python3 -m venv .venv
source .venv/bin/activate
python -m pip install --upgrade pip huggingface_hub
hf download bartowski/NousResearch_Arete-27B-GGUF NousResearch_Arete-27B-Q4_K_M.gguf --revision 9762c8502a79bd2b8634735d75f426b9febe092c --local-dir models
sha256sum models/NousResearch_Arete-27B-Q4_K_M.gguf

第二步:在 Ubuntu NVIDIA 環境建置 llama.cpp

這條路假設 NVIDIA 驅動與 CUDA 開發工具已可用。先確認 nvidia-smi 與 nvcc --version 能正常執行,再建置 CUDA 後端。

若使用 DGX Spark,可先參考既有的Ubuntu ARM64 與 CUDA 環境檢查,但不需要為了這篇另外重裝整套驅動。

cd "$HOME/AI/arete27b"
git clone https://github.com/ggml-org/llama.cpp.git
cd llama.cpp
git checkout b12174
cmake -S . -B build -DCMAKE_BUILD_TYPE=Release -DGGML_CUDA=ON
cmake --build build --config Release -j 4 --target llama-server
./build/bin/llama-server --version
./build/bin/llama-server --help

這個版本是量化檔作者標示使用的版本。舊版執行器若不支援架構,可能無法載入,不能只把錯誤歸因於下載壞掉。建置參數可對照llama.cpp 官方建置文件。

沒有 CUDA 的 Linux 環境,可以在同一份原始碼另建 CPU 版本。它能作為功能測試入口,速度仍依處理器和記憶體而定。

cmake -S . -B build-cpu -DCMAKE_BUILD_TYPE=Release -DGGML_CUDA=OFF
cmake --build build-cpu --config Release -j 4 --target llama-server

第三步:先以短上下文啟動本機對話

以下把服務限制在本機位址,使用單一平行槽與較短上下文,讓第一次載入比較容易觀察。-ngl auto 讓該版本依執行環境安排 GPU 層數,實際卸載結果仍要看啟動日誌。

cd "$HOME/AI/arete27b/llama.cpp"
./build/bin/llama-server -m "$HOME/AI/arete27b/models/NousResearch_Arete-27B-Q4_K_M.gguf" -c 4096 -np 1 -ngl auto --host 127.0.0.1 --port 8080 --jinja --chat-template-kwargs '{"enable_thinking":false}'

CPU 版本改用 build-cpu/bin/llama-server,並把 GPU 層數改成 -ngl 0。如果連接埠已被其他服務使用,換成其他未佔用的埠號,後面的網址也一起修改。

這裡關閉 thinking,是為了讓初次測試設定明確,並接近官方部分比較採用的模式。模型卡的訓練上下文與日常啟動上下文不是同一件事,想比較不同模型時,也要固定這些設定。

在另一個終端機確認服務,接著用瀏覽器開啟 http://127.0.0.1:8080。

curl --fail http://127.0.0.1:8080/health
curl http://127.0.0.1:8080/v1/chat/completions   -H 'Content-Type: application/json'   -d '{"model":"Arete-27B","messages":[{"role":"user","content":"請用繁體中文說明,事實陳述與價值判斷有什麼不同,並各舉一例。"}],"temperature":0,"max_tokens":512}'

載入完成後,先確認繁中輸出、停止條件與回應長度正常,再測長文和程式碼。

模型尚在載入時,健康檢查可能還不會成功,先看終端機日誌,不必反覆啟動第二個模型程序。

想用圖形介面?分清載入工具和模型本身

零度的補充說明也提供LocModel這條圖形介面路線。可以先確認目前下載頁是否支援你的作業系統與處理器,再搜尋完整 GGUF 倉庫名稱,或把已下載的檔案匯入。

目前 LocModel 下載頁列出的 Linux 套件為 x64。DGX Spark 這類 ARM64 機器不能直接把它當作相容安裝包,應選擇相符架構的執行器,或依原始碼路線完成本機編譯與載入驗證。

圖形介面能把下載、選模型與對話放在同一處,但仍要記下載入的是哪個檔案、量化和推理設定。

若下載失敗,先檢查 Hugging Face 連線、磁碟空間和檔案是否完整,不要把某一套代理設定視為所有環境的必要條件。

同一個工作台也可能呼叫圖片或影片模型,Arete-27B 的對話回答、圖片生成模型與影片生成模型要分開看,不能把其他模型畫出的圖像風格,當成 Arete-27B 價值觀測試的證據。

怎麼測回答?先固定條件,再看證據

想和 Qwen3.8-27B 比較,先固定推理工具、量化等級、system prompt、thinking、溫度、最大輸出長度與題目語言。每次新開對話,避免前一輪內容改變下一題。

  • 事實題:問題要有能核對的日期、文件與來源,檢查是否漏掉關鍵條件或編造引用。
  • 價值判斷題:確認模型是否說明評判標準、不同觀點與取捨,而不是只看答案是否合意。
  • 角色對調題:保留相同條件,交換行為者名稱,觀察是否使用一致的判準。
  • 程式與一般任務:先寫好驗收條件,再檢查功能、邊界和錯誤處理。能顯示畫面不等於程式已完成。

例如要比較某種政策,不必先逼模型「一定選一邊」,先要求列出可驗證的事實與評判標準,再用同一份標準對照答案,這會比讓模型自稱中立,或只問它是否有偏見,更容易得到可以檢查的結果。

官方表示在它所執行的通用與代理基準上,未觀察到明顯能力退步,這仍是特定測試配置下的結果,不能延伸成所有中文、程式或長文任務都同樣表現。若要接進代理工作台,可參考本地模型與 Agent 工作台的整合觀念,先讓短任務和工具流程跑通。

完成部署後,先保存模型修訂版、SHA-256、llama.cpp 版本、啟動命令與測試題,之後要換量化或調上下文,才有辦法分辨答案變化是模型行為,還是執行條件改變。

FAQ

Arete-27B 是從零訓練的新模型嗎?

不是。Nous Research 以 Qwen3.8-27B 為起點做監督式微調,調整特定價值與社會議題的回答行為。

小顯示記憶體的電腦一定能跑嗎?

不能只憑模型名稱保證。要看量化檔、系統記憶體、上下文與 GPU 卸載方式,部分運算放回 CPU 也可能顯著變慢。

文字對話需要下載 mmproj 嗎?

本文的文字對話流程不需要。若要使用圖片輸入,量化倉庫另外提供相對應的多模態投影檔,還需確認執行器與前端支援。

模型自稱有西方偏見,能證明訓練資料內容嗎?

不能。模型自我敘述是生成結果,訓練來源和方法要以模型卡、資料集與研究文件核對。

發佈留言

返回頂端