《PagedAttention》导读：让推理服务装下更多请求

它解决了什么

大模型推理时，每个请求都要为已处理的 token 保存 KV 缓存。传统做法按最大长度预留连续显存，实际用不满，浪费常超过一半。

显存浪费直接限制了并发数，也就是单位时间的吞吐。

三个关键思想

1. 分页管理 KV 缓存。 把缓存切成固定大小的块，按需分配，不需要连续空间。

2. 块可以共享。 相同前缀（比如同一个系统提示）的请求共享物理块，配合前缀缓存省显存。

3. 显存利用率换吞吐。 浪费减少后，同样一张卡能同时跑更多请求，吞吐显著提升。

读前需要知道

• 什么是推理：预填充与逐 token 生成。
• 什么是上下文窗口：为什么长上下文更吃显存。
• 操作系统分页的基本概念会有帮助。

重点章节与可跳过部分

• 第 3 节（方法）：分页与块表的设计，全篇核心。
• 第 4 节（实现）：vLLM 的调度与共享机制。
• 第 5 节（评测）：吞吐提升的数字，注意测试条件。
• 内核实现细节可以跳过。

影响

vLLM 与后续推理框架普遍采用这套思路。它解释了为什么自建推理服务时，「换框架」有时比「换显卡」更能提升吞吐——瓶颈常在显存管理，不在算力。