同一張 GPU 為何能接更多請求？拆解 vLLM 推理引擎
vLLM 是什麼？從 KV Cache、PagedAttention、前綴快取與連續批次，理解同一張 GPU 如何承載更多請求。本文整理 Prefill 與 Decode 的差別、記憶體用量推算、常見參數與量化取捨，並說明多 GPU、首個 token 等待及吞吐量測試，幫你找出瓶頸，避免把併發改善當成固定倍數加速。
vllm
MSI EdgeXpert 雙機實測：DeepSeek V4 Flash 與 JoyAI
兩台 MSI EdgeXpert 能跑 284B 到 397B 大型 MoE，也能部署 JoyAI 即時視覺互動系統。本文整理雙鏈路實測、硬體限制、完整命令與本地 AI 成本判斷。
NVFP4 與 MTP 是什麼？Qwen3.6 本地推理加速重點整理
NVFP4 和 MTP 讓 Qwen3.6 本地推理速度大幅提升，但 RTX 50 消費級顯卡仍受軟體成熟度限制。本文整理 NVFP4 與 INT4 差異、MTP 原理與企業部署風險。
2026 本地大模型推理框架怎麼選？vLLM、SGLang、llama.cpp、MLX、Ollama 比較
2026 本地大模型推理框架怎麼選？本文比較 vLLM、SGLang、llama.cpp、MLX、Ollama 的核心優勢、適合場景與混合部署策略，幫你少踩硬體與維運成本的坑。