同一張 GPU 為何能接更多請求?拆解 vLLM 推理引擎
vLLM 是什麼?從 KV Cache、PagedAttention、前綴快取與連續批次,理解同一張 GPU 如何承載更多請求。本文整理 Prefill 與 Decode 的差別、記憶體用量推算、常見參數與量化取捨,並說明多 GPU、首個 token 等待及吞吐量測試,幫你找出瓶頸,避免把併發改善當成固定倍數加速。
vLLM 是什麼?從 KV Cache、PagedAttention、前綴快取與連續批次,理解同一張 GPU 如何承載更多請求。本文整理 Prefill 與 Decode 的差別、記憶體用量推算、常見參數與量化取捨,並說明多 GPU、首個 token 等待及吞吐量測試,幫你找出瓶頸,避免把併發改善當成固定倍數加速。