程式開發

GPU 周圍的記憶體小區塊連接多條請求光流,象徵 vLLM 的快取管理與批次排程
AI, 模型, 程式開發

同一張 GPU 為何能接更多請求?拆解 vLLM 推理引擎

vLLM 是什麼?從 KV Cache、PagedAttention、前綴快取與連續批次,理解同一張 GPU 如何承載更多請求。本文整理 Prefill 與 Decode 的差別、記憶體用量推算、常見參數與量化取捨,並說明多 GPU、首個 token 等待及吞吐量測試,幫你找出瓶頸,避免把併發改善當成固定倍數加速。

放大鏡檢查筆電上的抽象程式區塊並標出提醒,示意 Security Guidance 協助程式碼安全審查
AI, 程式開發

Security Guidance 是什麼?Claude Code 安全外掛安裝與用法

Security Guidance 是 Claude Code 的自動安全審查外掛,透過編輯提醒、回合差異檢查與提交審查,協助發現程式風險。本文整理安裝指令、三個實用範例、專案規則範本與確認啟用的方法,並釐清 Skill、Hook 和 Plugin 的差別,以及模型用量、程式碼傳送範圍與不會阻擋提交的使用限制。

Mac 本地 AI 概念封面,以桌上型電腦與資料流呈現記憶體、輸入處理和生成的分工
Agent, AI, Apple, Mac, 程式開發

Mac 本地 AI 怎麼選?M5、M6 的記憶體、頻寬與 Agent 效能

Mac 本地 AI 怎麼選?從 M5、M6 的統一記憶體、頻寬與運算能力,理解 Prefill、Decode、TTFT 和 Agent 效能差異,整理官方配置對照、32GB 跑 27B 的限制、MoE 與多機部署觀念,補上本地測試命令和選購檢查清單,讓你依照模型、上下文與實際工作流安排預算,而不只追求最大容量。

返回頂端