从 Transformer 计算到推理服务优化:Taming the Titans 第 2—3 节阅读笔记
大模型生成回答时,先处理整段输入,再不断把刚生成的 token 送回模型,预测下一个 token。理解这个过程,需要先弄清 Transformer 在计算什么、哪些结果能复用,以及怎样衡量一个推理服务的性能。
这份笔记整理了 Taming the Titans: A Survey of Efficient LLM Inference Serving 第 2 节 Background 和第 3 节 LLM Inference Serving in Instance。第 2 节介绍模型计算、推理阶段和评价指标;第 3 节讨论模型放置、请求调度、输出长度预测、KV Cache 优化、Prefill/Decode 分离及多模型共享资源。
本文采用 INLG 2025 版本。第 2 节位于 PDF 第 2—3 页,对应印刷页码 523—524,包含公式 (1)—(3)、图 1 和表 1;第 3 节位于 PDF 第 3—5 页,对应印刷页码 524—526,包含图 2—5 和表 2。笔记的第 1—6 部分对应 Background,第 7—16 部分对应综述第 3 节。
笔记以原综述为主,补充必要的基础知识、张量维度推导和数值算例。下文讨论标准自回归、逐 token 生成的情形;除特别说明外,采用普通多头注意力,并省略 batch 维度。
本文区分四类内容:
- 原文背景:综述回顾的已有模型机制与常用指标。
- 补充解释与推导:为理解原文补充的例子、维度、缓存占用估算等,不是原文提出的新方法。
- 被引用的研究:例如 DistServe 的 Goodput 定义、Etalon 的流畅度评价,属于综述引用的研究成果。
- 综述作者的组织与评价:例如方法分类、适用场景和优劣概括,需要与被引用方法的具体实现区分,并在必要时回到原论文核对。
第 2 节主要介绍已有的模型机制和评价指标。
1. §2.1:Transformer 内部在计算什么?
原文描述的模型由多层组成,每层主要包含多头自注意力和前馈网络,并配合残差连接、归一化等操作。
模型生成下一个 token 的流程可以概括为:
文字 → 分词得到 token → 数字表示 → 多层 Transformer → 输出层 → 下一个 token 的概率。
1.1 Token、位置、向量与矩阵 X
假设输入“小猫 吃 鱼”被分成三个 token。真实分词结果取决于分词器,下面只是教学假设。
分词器将文本转换为 token 编号,模型再通过嵌入表(embedding table)查找对应向量。假设每个 token 用两个数表示:
| 序列中的位置 | Token | 向量表示(演示值) |
|---|---|---|
| 1 | 小猫 | [1, 2] |
| 2 | 吃 | [3, 1] |
| 3 | 鱼 | [2, 4] |
“位置”指 token 在序列中的顺序,不是向量中的某一列。位置编号与向量数值是两回事。
把这些向量按行堆起来,就得到矩阵:
大写 表示整组 token 的向量,单个 token 对应其中一行。第一个 token 的行向量可以记作 。
如果有 个 token,每个 token 的表示宽度为 ,则:
本例中,、,所以形状是 。增加一个 token,会增加一行。
实际模型的嵌入向量通过训练学习,通常具有较高维度;单个维度一般不对应固定、直观的语义。模型还需要引入位置信息,具体方式取决于架构。原文将分词、embedding 和位置信息的处理合并叙述,阅读时需要区分这些步骤。
第一层接收初始表示;后续层接收上一层的结果。因此,注意力公式中的 应理解为当前这一层用于投影的隐藏表示,不总是最初的 embedding。
1.2 Q、K、V 如何产生?它们与权重有什么区别?
对一个注意力头,模型通过三组投影权重得到:
上标 、、 用来标识权重的用途,不是乘方。
投影权重与投影结果分别是:
- 、、 是模型参数,训练时学习,普通推理时固定。
- 、、 是当前输入经过计算后得到的向量集合,输入变化时,它们会变化。
以 Query 投影为例,假设:
这次投影将每行的第一个数乘以 2、第二个数乘以 1,再将结果相加。
| Token | 计算 | Query |
|---|---|---|
| 小猫 | 4 | |
| 吃 | 7 | |
| 鱼 | 8 |
于是:
这里是 的矩阵乘法。模型一次对所有行应用同一套规则,算出每个 token 的 Query。
实际模型中,每个头的 Query 通常有多个维度。这里使用单维结果展示投影计算,与后面的二维注意力算例相互独立。
Q、K、V 的角色可以概括为:
| 名称 | 在计算中的用途 |
|---|---|
| Query,Q | 当前位置用什么特征查询上下文 |
| Key,K | 各个位置提供什么特征供 Query 匹配 |
| Value,V | 匹配完成后,各个位置实际提供什么信息 |
这是帮助理解的角色描述;实际对象仍然是模型计算出的数字向量。
1.3 公式 (1):单头缩放点积注意力
修正原文的记号并显式加入因果掩码后,单个头的注意力可写为:
其中 是 Query、Key 的维度, 是 Value 的维度, 是掩码矩阵, 是这个头的输出。 表示转置。
以下维度对应同一条序列中的 个位置同时进行自注意力计算:
| 对象 | 形状 |
|---|---|
| 、 | |
| 、 | |
| 注意力权重 | |
| 输出 |
第一步:Query 与 Key 的点积得到匹配分数
表示 Query 的位置, 表示 Key 的位置, 遍历向量中的各个分量。矩阵乘法的维度是:
第 行记录位置 与各个位置的匹配分数。原始分数可以为负,行内各项之和也不要求等于 1。
第二步:缩放并加上因果掩码
除以 用来控制分数尺度。一个常用解释是:在 Query、Key 的各分量独立、均值为 0、方差为 1 的假设下,点积方差为 。缩放后,分数尺度更稳定,有助于避免 softmax 过度饱和。这是对缩放因子的解释,不是在减少矩阵乘法数量。
对于这里的自回归模型:
每个位置可以读取自己及之前的位置,后面的位置被屏蔽。
| 正在计算谁的表示 | 可以读取的 Key/Value |
|---|---|
| 小猫 | 小猫 |
| 吃 | 小猫、吃 |
| 鱼 | 小猫、吃、鱼 |
是否允许读取,取决于位置关系,而不是 Key 是否已经算好。 Prefill 中整段输入的 Q、K、V 可以一起计算,但未来位置仍会被掩码屏蔽。
因果掩码在训练时防止目标信息泄露。例如,“吃”位置的表示用于预测后面的“鱼”,因此不能提前读取“鱼”。推理时沿用相同的因果约束。
第三步:逐行 softmax,得到注意力权重
定义:
对某一行的分数 ,softmax 为:
、 都遍历这一行的 Key 位置。未被屏蔽的位置权重为正,整行权重和为 1;被屏蔽位置因为 ,权重为 0。
因此,点积结果是匹配分数,softmax 后才是归一化的注意力权重。
第四步:按比例汇总 Value
、 均为长度 的行向量, 是一个标量比例。矩阵维度为:
输出仍是矩阵,每个 token 对应一行;这一行已经汇总了允许读取的上下文信息。
一个完整的三位置算例
这个独立算例另取输入矩阵:
令三组投影权重均为 单位矩阵,因此 ,。
缩放并加掩码后:
逐行 softmax 得到:
再乘以 :
例如,第三个位置的输出来自:
显示值保留四位小数,输出使用未舍入的权重计算。这里令 Q、K、V 相同是为了便于手算,实际模型中的三组投影通常不同。
1.4 公式 (2):多个头怎样合并?
每个头接收同一层的隐藏表示,但使用自己的投影权重。每个 token 都经过所有头;“第几个头”与“第几个 token”是两个独立编号。
本文用 表示头数,原文使用 :
是第 个头的输出, 是多头注意力模块的输出; 是可学习的输出投影权重。这里的下标 表示注意力头编号,与前面表示 token 位置的下标不同。
若每个头输出 个特征:
| 对象 | 形状 |
|---|---|
| 每个 | |
| 拼接结果 | |
Concat 沿特征维度横向拼接,保持 token 行数不变。
例如,假设两个头对同一个 token 分别输出一个数 2 和 3,拼接得到 。若:
则:
这个例子中 、、。输出投影学习如何重新组合各个头提供的特征。不同头的具体功能由训练形成,不必预先指定某个头负责语法、另一个负责语义。
1.5 公式 (3):FFN 为什么要继续加工表示?
FFN 是 Feed-Forward Network 的缩写,即前馈网络。原文给出使用 ReLU 的经典形式:
它对每个 token 的表示执行:
线性变换 → 非线性激活 → 线性变换。
通常先扩展特征宽度,再变回模型的隐藏宽度。
| 对象 | 形状 |
|---|---|
| 单个 token 的行向量 | |
| 长度 ,逐特征相加 | |
| 中间表示 | |
| 长度 | |
| 输出 |
是 FFN 中间层宽度。多行一起计算时,同一层的所有 token 共用这些权重和偏置,偏置按行广播。
独立数值例子:令 ,两组偏置为零,并令:
计算过程是:
这里经历 。ReLU 逐个数取 ,将负数置零,正数保持不变。
FFN 通过非线性变换加工特征。例如,“吃了一个苹果”和“苹果发布了新手机”中的上下文不同,注意力负责汇总这些上下文,FFN 进一步处理汇总后的特征。
用人为设计的二值特征举例,设 表示“苹果相关信号”、 表示“食物上下文信号”。变换 只有在两者同时为 1 时才输出 1,展示了非线性网络怎样形成组合特征。真实模型的特征不必是这些直观、独立的语义标签。
注意力与 FFN 的分工可以概括为:
| 模块 | 主要计算特点 |
|---|---|
| 自注意力 | 根据匹配关系,在 token 之间汇总信息 |
| FFN | 对每个 token 自己的特征进行非线性加工 |
这一分工只是概括,注意力本身也包含特征变换和非线性操作。标准 Transformer 使用 FFN 增强表达能力,但其他架构不一定采用相同设计。
1.6 “层”是什么?注意力输出怎样变成新 token?
一个 Transformer 层包含注意力、FFN 及相关残差、归一化操作。多层沿深度依次堆叠,各层通常有各自的参数。
残差连接将子层输入加回输出,保留信息并帮助优化;归一化调整特征尺度。它们的具体放置顺序随架构变化,不能把一张简化图当成所有模型的统一模板。
注意力输出 或多头输出 仍是隐藏表示;它们还要经过同层的其他计算及后续层。
假设走完整个模型后得到 ,取最后一个输入位置对应的行向量 。若词表大小为 ,输出层权重 的形状为 ,则可写成省略输出偏置的形式:
Logits 是词表中每个候选 token 的分数。对词表维度做 softmax,得到下一个 token 的概率,再进行选择或采样。
这里有两种不同的 softmax:
- 注意力中的 softmax:沿 Key 位置计算“读取哪些位置”的比例。
- 输出层的 softmax:沿词表计算“下一个 token 是什么”的概率。
模型预测新 token 时得到的是 token 编号。要计算这个新 token 自己在各层的 Q、K、V,还需要在下一轮将它送入模型。
2. §2.2:Prefill、Decode 与 KV Cache
原文将推理分成两个阶段:Prefill 处理整段输入并产生第一个输出 token;Decode 随后逐步产生后续 token,使用 KV Cache 避免重复计算。
2.1 两个阶段在哪里划分?
假设输入 prompt 包含“小猫”和“吃”两个 token,模型接着生成“鱼”和句号:
| 计算轮次 | 本轮送入模型的 token | 阶段 | 本轮预测出的 token |
|---|---|---|---|
| 第 1 轮 | 原始 prompt:小猫、吃 | Prefill | 鱼 |
| 第 2 轮 | 刚生成的鱼,结合历史缓存 | Decode | 。 |
| 第 3 轮 | 刚生成的句号,结合历史缓存 | Decode | 后续 token |
两个阶段都会预测下一个 token,区别在于本轮处理的是 prompt,还是新生成的 token。
按这篇综述的划分,第一个输出 token 在 Prefill 末尾产生;之后把它送回模型,开始 Decode 循环。
第一轮用“吃”位置的最终表示预测“鱼”。此时只是选出了“鱼”的编号,还没有计算“鱼”在各个 Transformer 层中的 Q、K、V。第二轮才将“鱼”转成 embedding,计算它自己的表示,并预测“。”。
如果继续生成,句号也会被送入模型,重复上述过程。生成在输出 EOS(序列结束)token、达到输出长度上限或满足其他停止条件时结束。
2.2 层与阶段是两种划分
层是模型结构中的模块;阶段是推理执行过程中的划分。
每一轮前向计算都经过全部 Transformer 层。Prefill 和 Decode 使用相同的模型参数,但本轮处理的新位置数不同。
以假设的三层模型为例:
Prefill:小猫、吃 → 第 1 层 → 第 2 层 → 第 3 层 → 预测鱼。
Decode:鱼 → 第 1 层 → 第 2 层 → 第 3 层 → 预测句号。
Prefill 中,同一层的多个已知输入位置可以一起计算;后一层要接着前一层的结果计算。标准逐 token Decode 中,同一请求的后续 token 要依次产生,因为下一轮输入取决于上一轮预测。
2.3 KV Cache 缓存什么?为什么每层都有一份?
在 Prefill 中,每一层都算出了 prompt 各位置的 K、V。模型将这些结果保存下来:
| 缓存属于哪一层 | 保存什么 |
|---|---|
| 第 1 层 | 第 1 层中“小猫、吃”的 K、V |
| 第 2 层 | 第 2 层中“小猫、吃”的 K、V |
| 第 3 层 | 第 3 层中“小猫、吃”的 K、V |
不同层的权重和输入表示不同,对应的 K、V 也不同。缓存按层分别组织;它是随请求产生的中间计算结果,与训练得到的模型参数不同。
生成“鱼”以后,将“鱼”送入每一层时:
- 计算“鱼”在这一层的 、、。
- 读取这一层保存的历史 K、V。
- 将新的 K、V 加入这一层缓存。
- 用新 Query 查询包括自己在内的全部可见位置,得到当前 token 的注意力输出。
- 继续同层其他计算,并送入下一层。
对一个头,若本轮开始前有 个历史位置:
| 对象 | 形状 |
|---|---|
| 历史 K | |
| 历史 V | |
| 新 Query、Key | |
| 新 Value | |
| 加入新位置后的 K | |
| 加入新位置后的 V | |
| 当前匹配分数 | |
| 当前注意力输出 |
追加缓存沿 token 位置维度增加行;多头结果的 Concat 沿特征维度增加列。
2.4 为什么能复用?为什么通常只缓存 K、V?
因果注意力禁止旧位置读取后面新增的位置。在模型参数固定、位置安排不变的标准推理中,追加 token 不会改变旧位置已经计算好的表示,因此旧 K、V 可以复用。
在“鱼”这一轮,计算需要的是:
鱼自己的 Query → 匹配小猫、吃、鱼的 Key → 汇总相应 Value。
历史 Query 用于当时更新历史位置自身的表示;更新“鱼”这一行时不需要历史 Query。因此,通常缓存未来步骤还会使用的历史 K、V。
缓存省掉历史位置的重复计算,但不会省掉新 token 的计算,也不会省掉当前 Query 对历史 K、V 的读取和注意力运算。
2.5 原文的 O(n) 应怎样理解?
原文将使用缓存后的复杂度简写为 ,这一结论需要限定计算范围。
朴素地每轮重跑完整前缀时,一个头的匹配矩阵有 个元素;而有 KV Cache 的单步 Decode,只用一个新 Query 查询历史位置,匹配结果是一行。
固定头数和特征维度后,单步 Decode 的密集注意力计算随上下文长度线性增长。更具体地,一头的两次主要乘法成本随 和 增长。
这不意味着:
- Prefill 的完整注意力计算变成了线性;
- 整段回答的总生成成本一定是线性的;
- FFN、投影或权重读取等成本都被消除了。
上下文随生成过程增长,整段回答的成本需要累加各轮计算。原文的简写适合概括缓存优势,不能直接当成完整推理的总复杂度结论。
2.6 补充推导:KV Cache 为什么占显存?
缓存为每个位置、每一层、每个 KV 头保存向量,因此占用随上下文长度和并发请求数增长。
对普通 MHA,设:
- :同时缓存的请求数,这里假设各请求长度相同;
- :Transformer 层数;
- :每个请求已缓存的 token 数;
- :每层的注意力头数,普通 MHA 中也是 KV 头数;
- 、:每个头的 Key、Value 宽度;
- :每个缓存数值占用的字节数。
只计算 K、V 数值本身的存储量:
当 时,可写成 。
例如,假设一个普通 MHA 模型有 32 层、32 个头,Key 和 Value 每头都是 128 维,使用每数值 2 字节的精度。一个请求缓存 4096 个 token,需要:
这里只估算缓存数值,不包含模型权重、临时张量、分配器和元数据开销。若各请求长度不同,应对各请求的缓存长度求和;若模型的 KV 头数不同,或采用量化、压缩,需要按实际存储格式计算。
这条显存估算公式及数值例子是补充推导,原综述第 2 节未给出该公式。
2.7 补充基础:计算受限与显存带宽受限
原文将 Prefill 描述为 compute-bound,即计算受限。较长的 prompt 或足够大的批量允许大量 token 一起参与矩阵计算,较容易充分利用算力。
小批量 Decode 每轮只处理少量新 token,但仍要读取模型权重以及不断增长的 KV Cache。此时可能更受显存带宽限制,即从 GPU 显存搬运数据的速度成为瓶颈。
KV Cache 减少重复计算后,数据读取仍可能成为主要开销。两个阶段的资源需求差异,也是后文讨论阶段调度和资源分配的原因。
“Prefill 计算受限、Decode 带宽受限”是典型工作负载下的概括。短输入、较大的 Decode 批量、不同硬件和实现都可能改变瓶颈。DistServe §2.1 对阶段计算特征的讨论
3. §2.3:怎样评价推理服务?
综述第 2.3 节介绍常见性能指标,并讨论 DistServe 使用的 Goodput 指标和 Etalon 评价框架。它们分别关注响应速度、输出节奏、服务能力和 SLO 达标情况。
3.1 用一条生成时间线计算延迟指标
以下例子采用客户端观测时间,从发送请求开始计时,并记录各个输出 token 的接收时间。实验也可以采用服务端观测,比较时需要统一时间边界。
| 事件 | 时间 |
|---|---|
| 发送请求 | 0 秒 |
| 收到第 1 个输出 token | 0.80 秒 |
| 收到第 2 个输出 token | 0.90 秒 |
| 收到第 3 个输出 token | 1.10 秒 |
| 收到第 4 个输出 token | 1.20 秒 |
设 为请求发送时间, 为第 个输出 token 的接收时间, 为输出 token 总数,包含首个 token。 和 是时间标量,单位为秒; 是计数。
TTFT:多久开始回答?
Time To First Token:
它与 Prefill 密切相关,但实际服务中还可能包括排队、预处理和通信等等待,不能直接等同于纯 GPU Prefill 计算耗时。
TBT:相邻输出之间隔多久?
Time Between Tokens:
本例是 100、200、100 毫秒。它能反映输出间隔与停顿。
TPOT:后续生成平均每个 token 花多久?
Time Per Output Token。采用排除首 token 的常见定义,在 时:
这里共有 4 个输出 token,首个 token 之后有 3 个生成间隔,因此分母为 3。TPOT 是平均值,不表示每个 token 的间隔都恰好为 133 毫秒。
若只输出一个 token,则这个排除首 token 的 TPOT 没有可统计的后续间隔,不应直接套用分母为零的公式。
Normalized Latency:整个请求耗时分摊到 token 上
原文表 1 写为“总执行时间除以 token 数”,未进一步明确口径。本文的数值例子明确采用:
这里把首 token 之前的等待也分摊进去;它不是实际的相邻输出间隔。具体研究可能采用不同的总耗时边界或输出计数方式,需要查明定义。
| 指标 | 本例结果 | 关注点 |
|---|---|---|
| TTFT | 800 毫秒 | 首次响应 |
| TBT | 100、200、100 毫秒 | 每次后续输出的间隔 |
| TPOT | 约 133 毫秒/token | 后续生成的平均间隔 |
| 本文口径的归一化延迟 | 300 毫秒/token | 整个请求耗时的分摊 |
平均值和归一化值可能掩盖局部停顿或较长的排队等待,不能单独代表所有体验。
3.2 Throughput:整个系统每秒产出多少?
表 1 的 Throughput 指所有请求合计的输出 token 速率。例如系统在 10 秒内总共产出 1000 个输出 token:
这与单个请求的 TPOT 是不同视角。增加并发、一起处理更多请求可能提高总吞吐量,但也可能增加单个请求的等待。
实验中应明确计数的是输出 token、输入 token,还是两者合计,以及是否按每块 GPU 归一化,避免将不同单位或范围混在一起比较。
3.3 SLO、Capacity 与 Goodput
SLO 是 Service Level Objective,服务水平目标。它说明系统需要达到哪些服务质量要求。
一个教学例子是:至少 90% 的请求同时满足 TTFT 不超过 1 秒、TPOT 不超过 150 毫秒/token。这里的阈值和比例都是人为设置的目标,不是统一标准。
固定模型、硬件和请求长度分布,逐步增加请求到达速率:
| 到达速率 | 同时满足两个时间要求的请求比例 | 是否达到至少 90% 的目标 |
|---|---|---|
| 3 请求/秒 | 96% | 达标 |
| 4 请求/秒 | 92% | 达标 |
| 5 请求/秒 | 80% | 不达标 |
在这些测试点中,4 请求/秒是最高达标档位;要定位更准确的边界,还可以细化测试速率。
DistServe 将 Goodput 定义为达到指定 SLO 达标比例时能够服务的最大请求速率,并关注平均每张 GPU 的 Goodput。这一定义需要与其他工作中采用的“达标请求数除以观测时间”区分。DistServe 的 Goodput 定义
Capacity 也关注满足约束时的最大承载能力。综述表 1 简写为满足 SLO 的最大吞吐量;具体工作可以使用最大请求负载等口径。应核对约束、达标比例和单位。
| 概念 | 回答的问题 |
|---|---|
| Throughput | 系统总共每秒产出多少 token? |
| SLO | 什么样的响应时间和达标比例才符合要求? |
| Capacity/本文引用的 Goodput | 达到规定服务质量时,最多能承受多大负载? |
token/s 与请求/s 的单位不同,换算时还需要知道请求的输出长度分布。
3.4 分位数:观察延迟分布与尾部
收集大量请求的同一种延迟指标,并按大小排序,可以观察 P50、P90、P99:
| 假设测得的指标 | 含义 |
|---|---|
| P50 TTFT = 0.8 秒 | 约 50% 的请求在 0.8 秒内开始响应,即中位数 |
| P90 TTFT = 1.5 秒 | 约 90% 的请求在 1.5 秒内开始响应 |
| P99 TTFT = 3 秒 | 约 99% 的请求在 3 秒内开始响应 |
具体样本分位数的计算可能涉及插值,但其直观含义是相应比例的样本落在该值附近或以下。
P99 常用于观察尾延迟:大多数请求可能很快,少数请求却等得很久。P99 也不是所有请求的最大延迟。
必须说明分位数作用于哪个指标:P99 TTFT、P99 TPOT 与 P99 TBT 是不同的量。还要区分按请求统计、按 token 间隔统计,以及跨请求平均时的加权方式。
3.5 引用方法:Etalon 为什么评价“流畅度”?
考虑两个教学例子,首 token 后四次输出的间隔为:
| 系统 | 四次间隔,单位毫秒 | 平均 TPOT |
|---|---|---|
| A | 100、100、100、100 | 100 毫秒/token |
| B | 370、10、10、10 | 100 毫秒/token |
平均速度相同,但 B 在开头出现较长停顿,然后快速补出内容。仅看平均值,无法描述这种时间节奏。
Etalon 使用 fluidity-index,根据 token 的输出期限衡量流畅度:提前输出的时间可以作为后续缓冲,输出迟到后则重设后续期限。fluid token generation rate 衡量达到指定流畅度要求时可支持的持续输出速率。这里的“流畅度”指输出的时间节奏,而非文本质量。Etalon 原论文 §4
不宜将 fluidity-index 简化成“每个 TBT 是否超限”的比例:它会考虑提前量,并在停顿中计算错过的期限。这里保留核心思想,详细计算需按引用论文的算法。
Etalon 及其指标来自被引用的研究,并非这篇综述提出的方法。
4. 原文笔误与简化表述核对
| 原文位置 | 问题或省略 | 阅读时的处理 |
|---|---|---|
| 式 (1) 的 | 参数 W 与正文及右侧公式中的 K 不一致 | 应理解为 Q、K、V,W 是笔误 |
| 式 (1) 的 MHA 名称 | 右侧是一个头的缩放点积注意力 | 将单头 Attention 与式 (2) 的多头合并区分 |
| 式 (2) 的 | 再次出现 W,且沿用单头/多头混用的名称 | 写成 更清晰 |
| 式 (3) 与图 1 的 FNN | 与正文 FFN 缩写不一致 | 应为 FFN,前馈网络 |
| 式 (1) 未写掩码 | 没有显式表达因果读取范围 | 在自回归语境中补上 M |
| 输入表示的描述 | 将分词、数字表示与位置处理合并叙述 | 分开理解 token 编号、embedding、位置机制与逐层隐藏表示 |
| 式 (3) 的 ReLU FFN | 给出一种经典形式 | 不据此推断所有 LLM 都使用相同 FFN 结构 |
| Prefill 为 compute-bound | 典型工作负载的概括 | 实际瓶颈取决于输入长度、批量、硬件与实现 |
| 缓存使复杂度降到 | 未明确是哪部分、哪一步的成本 | 对固定维度的单步 Decode 注意力作限定 |
| 生成在 EOS 终止 | 省略其他实际停止条件 | 也可能在长度上限或指定停止条件处结束 |
| Normalized Latency | 未明确时间边界和 token 计数口径 | 明确采用的定义再计算、比较 |
| Capacity 与 Goodput | 简述容易让人混淆指标及单位 | 回到具体引用工作,核对请求速率、达标比例和资源范围 |
| Etalon 的 fluency | 表述较概括 | 理解为 token 输出节奏,并区分框架与其中的具体指标 |
单头、多头、因果掩码及经典 FFN 的记号可对照 Attention Is All You Need §3。
5. 阅读时最容易混淆的几个问题
一个 token 是否就是一个 X?
本文的大写 是多个 token 表示组成的矩阵,一个 token 对应一行小写 。某些公式会对单个 token 写向量,但要看上下文中的定义。
Q、K 是不是权重?
Q、K 是输入投影后的结果,、 才是可学习参数。点积得到匹配分数,softmax 后的 才是注意力权重。投影权重是模型参数,注意力权重则由当前输入计算得到。
能否读取已经算好的未来 Key?
在这里的因果自注意力中不能。允许范围由位置关系决定;Prefill 即使同时算好了所有 Key,也要屏蔽每行的未来位置。
层是不是阶段?
层是模型内部重复堆叠的模块,阶段是执行过程中的划分。Prefill 和每轮 Decode 都经过全部层,并使用各层自己的缓存。
首个 token 也是预测的,为什么属于 Prefill?
Prefill 和 Decode 都包含预测。区别在本轮处理的输入:Prefill 处理 prompt 并产出首 token;之后处理新生成 token 的各轮属于 Decode。
预测出“鱼”,是否意味着已经计算了“鱼”的 Q、K、V?
预测时用前一个位置的最终表示选择“鱼”的编号;下一轮将“鱼”送入模型,才计算它在各层的 Q、K、V。
有缓存后是否不用做注意力?
仍需用当前 Query 查询历史 Key,并汇总 Value。缓存避免历史位置的重算,历史数据的读取与当前行计算仍然存在。
吞吐量高是否说明每个用户都得到更快的回答?
不一定。吞吐量是系统整体产出;单请求的 TTFT、TPOT 和输出波动需要分别评价。满足 SLO 的承载能力能补充这种视角。
6. 第 2 节与 AI Systems 的联系
第 2 节中的机制与指标可以按以下关系串联起来:
模型算子与张量形状 → 阶段执行方式 → 可复用的数据 → 计算与显存成本 → 请求体验与系统容量。
阅读一个优化方法时,可以据此检查:它改变了计算量、数据读取、缓存管理,还是排队与调度?它改善的是首次响应、后续生成、整体吞吐,还是满足服务质量时的承载能力?
用于组会介绍 Background 时,可以抓住四个核心事实:
- 注意力在 token 间汇总信息,FFN 对每个 token 的特征做非线性加工。
- Prefill 一起处理 prompt 并产生首 token;Decode 逐步处理新 token 并继续预测。
- 每层 KV Cache 保存历史 K、V,避免重算,但会占用显存;Decode 仍需要读取历史数据。
- TTFT、TPOT、TBT 描述等待与节奏;吞吐量和带 SLO 的承载能力描述系统服务能力。
这些属于机制与评价基础。后续请求调度、KV Cache 管理、Prefill/Decode 分离等方法,需要建立在这些概念之上。
7. 第 3 节总览:从模型计算走向资源管理
第 2 节回答“模型怎样生成 token”;第 3 节回答“多个请求到来时,怎样安排计算、管理缓存、分配硬件资源”。这里的 instance 是承载一个模型服务的资源与执行单元,可以使用一张或多张 GPU,不等同于一个用户请求,也不一定只占一台机器。
| 小节 | 核心问题 | 主要机制 |
|---|---|---|
| §3.1 Model Placement | 模型权重放在哪里,怎样跨设备执行? | 模型并行、卸载、CPU/GPU 协作 |
| §3.2 Request Scheduling | 谁先运行,谁能加入当前 batch,什么时候重新调度? | 优先级与抢占、连续批处理、Prefill 分块、生成切片 |
| §3.3 Decoding Length Prediction | 输出尚未完成,怎样估计工作量? | 数值预测、区间分类、相对排序 |
| §3.4 KV Cache Optimization | 不断增长的历史缓存怎样存、复用和压缩? | 分页、卸载、前缀与跨轮复用、量化、紧凑编码 |
| §3.5 Prefill-Decoding Disaggregation | 两阶段怎样减少干扰,如何交接状态? | 跨 GPU 分离、同 GPU 内划分计算资源 |
| §3.6 Multiplexing | 多个模型怎样共用 GPU? | 时间共享、空间划分、动态资源协调 |
第 3 节主要整理已有研究。下文重点介绍机制,具体实现和实验结果可通过相应原论文进一步查阅。
8. §3.1:模型放置与 CPU/GPU 协作
8.1 显存要同时容纳权重、KV 和临时数据
假设模型有 70 亿个参数,每个参数保存为 2 字节,那么仅权重就约占:
这里按十进制 GB 计算,未计入 KV Cache、激活、计算工作区和管理开销。即使权重能够放入显存,也可能没有足够空间支持长上下文或大量并发请求。小模型或低精度模型则可能在单卡上运行,原文开头的概括并不适用于所有配置。
8.2 流水线并行:不同设备执行不同层
假设模型有 4 层:GPU 1 保存并执行第 1—2 层,GPU 2 保存并执行第 3—4 层。
同一个请求仍然要依次通过这些层。并行机会来自多个请求或微批:GPU 2 处理 A 的后半段时,GPU 1 可以处理 B 的前半段。
| 理想化时间段 | GPU 1 | GPU 2 |
|---|---|---|
| 1 | A:第 1—2 层 | 等待 |
| 2 | B:第 1—2 层 | A:第 3—4 层 |
| 3 | C:第 1—2 层 | B:第 3—4 层 |
| 4 | 没有新的微批 | C:第 3—4 层 |
这个例子假设两个流水线阶段耗时相同,并忽略通信成本。流水线启动和排空时会出现空闲,称为流水线气泡;阶段之间还需要传输隐藏表示。流水线并行可以分摊权重并提高多任务场景的设备利用率,单个请求的延迟则取决于各阶段耗时和通信成本。GPipe 原论文
8.3 张量并行:同一个运算分给多张 GPU
以一层线性变换为例:
其中 是 的行向量, 是 的权重矩阵,输出 是 :
按输出列划分,GPU 1 计算前两列,得到 ;GPU 2 计算后两列,得到 。两个局部结果各为 ,拼接后得到完整输出。这是一个简单的列切分例子。
真实网络可能交替采用列切分与行切分,并通过求和、收集等通信连接后续运算,不能把所有张量并行都理解成最后拼接一次。Megatron-LM 原论文
原文还提到序列并行、上下文并行和专家并行。序列并行沿序列维度划分部分算子的激活与计算;上下文并行划分上下文 token,并处理跨分区的注意力依赖;专家并行将 MoE 专家分配到不同设备。它们分别划分序列或专家,与按模型层、矩阵维度划分的方式不同。
8.4 权重卸载:空间节省要与搬运成本一起看
卸载可以将部分权重保存在 CPU 内存,执行到相应层时再加载到 GPU。已不需要常驻的权重可以让出显存,当前隐藏表示和仍需使用的状态则按执行流程保留。
例如,传输 4 GB 数据,有效带宽为 16 GB/s,仅传输就需要 秒,尚未计入固定开销。如果权重被反复换出,每轮 Decode 都可能需要重新加载。预取和流水线可以隐藏部分等待,但数据搬运本身仍有成本。
8.5 PowerInfer:让计算靠近数据
PowerInfer 利用所支持模型中的激活稀疏性与激活频率差异,将经常激活的神经元相关权重放在 GPU,将较少激活的部分放在 CPU,并让两侧分别执行相关计算。预测器帮助识别当前输入需要激活的部分。PowerInfer 原论文
这里的神经元可以理解为 FFN 的中间特征单元。例如,ReLU 将 变为 ,其中一个单元的激活为零。但模型是否具有足够的激活稀疏性、哪些单元经常激活,以及怎样避免无效计算,都需要具体分析,这个小例子不能说明所有模型都适用。
它与虚拟内存的共同点是局部性和分层资源管理。区别在于:CPU 侧的数据可以直接由 CPU 计算,而不是每次都把冷权重搬到 GPU 再算。节省的是部分跨设备传输,CPU 仍然要读取自己的内存,两侧也需要交换结果。
原文另列 TwinPilots 的非对称 CPU/GPU 协作,以及 Park 与 Egger 根据模型和 batch 调整工作分配的做法。这里的 fine-tuned workload allocation 指精细调整计算分工,不是对模型参数进行训练微调。
9. §3.2:请求调度、Batch 与执行粒度
9.1 经典调度思想仍然有用,LLM 多了哪些条件?
FCFS、SJF、SRTF 和 MLFQ 都可以联系操作系统调度。LLM 的特殊性在于:输出长度事先未知、同一请求逐 token 依赖、多个请求可以组成 batch,而且请求的 KV 状态会持续增长。
抢占一个请求以后,调度器还要决定它的状态留在 GPU、换到 CPU,还是以后重新计算。服务调度器通常在应用内部安排 GPU 工作;许多用户请求可以属于同一个操作系统进程。
一个纯串行例子:长任务需要 10 秒,短任务需要 2 秒,两者同时到达。
| 执行顺序 | 完成时间(按执行顺序列出) | 平均完成时间 |
|---|---|---|
| 长任务先 | 10 秒、12 秒 | 11 秒 |
| 短任务先 | 2 秒、12 秒 | 7 秒 |
两种顺序的总执行时间都是 12 秒,但平均完成时间分别为 11 秒和 7 秒。这个例子解释请求排序的作用,不是 GPU 批处理的性能模型。持续优先处理短任务可能导致长任务饥饿,因此还需要考虑等待时间,或采用优先级提升等公平机制。
综述从 Inter-Request 与 Intra-Request 两个角度组织方法:前者侧重请求或批次的执行顺序和抢占,后者实际讨论并发请求的批组织、迭代与分段。不能仅按 Intra 的字面把它理解为打乱单个请求的 token 顺序。
原文用 FastServe 的 Skip-Join MLFQ、预测长度辅助 SJF/SRTF 等作为例子。本文重点是调度需要哪些信息、何时能重新安排,以及保存状态的代价;这些经典策略在具体系统中的实现不能仅凭名字推断。
9.2 Batch 是本轮共同处理的请求集合
假设当前一起执行请求 A、B,则 batch size 为 2。单个请求包含 1000 个输入 token,不意味着 batch size 为 1000。
| 概念 | 数的是什么? |
|---|---|
| Batch size | 一起处理多少个请求或序列 |
| 输入长度 | 某个请求有多少输入 token |
| 输出长度 | 某个请求生成多少 token |
| 本轮 token 预算 | 本轮实际安排多少个 token 的计算 |
各请求使用相同的模型参数,可以将部分线性变换等运算合并执行,提高 GPU 利用率。但它们有独立上下文、注意力读取范围和 KV,不能让 A 读取 B 的内容。
9.3 Orca:每次迭代之后重新安排 Batch
Orca 的核心是迭代级调度(iteration-level scheduling):引擎完成一次模型迭代后,将结果交回调度器,由调度器安排下一轮。普通 Decode 中,一次迭代通常为每个活跃请求产生一个新 token。Orca 还使用选择性批处理(selective batching),合并适合批量执行的运算。Orca 原论文
假设最多容纳两个请求,A、B 正在 Decode;B 在第 2 轮完成,C 到达:
| 轮次 | 本轮工作 | 状态变化 |
|---|---|---|
| 1 | A Decode+B Decode | 两者继续 |
| 2 | A Decode+B Decode | B 完成,释放相应资源 |
| 3 | A Decode+C Prefill | 在资源允许时接纳 C,C 产生首 token |
| 4 | A Decode+C Decode | 两者继续生成 |
这是调度示意,具体实现可能采用不同的混合执行方式。接纳 C 需要满足显存和本轮 token 预算,同时保留 A 的 KV。batch 成员变化时,未完成请求的状态仍可继续使用。
9.4 Chunked Prefill:分割已知输入,插入调度机会
长 Prefill 可能让已有 Decode 请求等待。分块的思路是将完整输入拆成小段,在不同轮次处理,并与正在生成的请求配合安排。DynamicSplitFuse 和 Sarathi-Serve 是综述列出的相关研究,具体批组织和预算策略并不完全相同。
假设 A 已在 Decode,C 有 8 个已知输入 token,每次处理 C 的 2 个输入位置:
| 轮次 | A | C |
|---|---|---|
| 1 | Decode | Prefill 位置 1—2 |
| 2 | Decode | Prefill 位置 3—4 |
| 3 | Decode | Prefill 位置 5—6 |
| 4 | Decode | Prefill 位置 7—8,完成输入处理,产生首输出 token |
| 5 | Decode | Decode,继续预测第二个输出 token |
每个输入块都经过完整模型,并读取此前输入块留下的各层 KV。分块划分的是输入位置;在完整 prompt 处理完之前,中间块的计算不代表已经开始返回最终回答。
块较大时,容易让 Decode 等得久;块太小时,调度和算子启动次数增加,小矩阵运算可能降低利用率,完成整个输入还需要更多轮。分块没有减少输入 token 数量,也不保证 TTFT、TPOT 和吞吐量同时改善。Sarathi-Serve 原论文
9.5 生成切片:保留依赖,在片间重新调度
SCLS 将生成过程限制为每次最多输出一小片,然后让未完成请求返回待调度集合。下一片仍然基于原输入和已经生成的内容。比如片长为 8,请求 A 最终输出 25 个 token:
| 片段 | 新输出 token | 片段之后 |
|---|---|---|
| 1 | 1—8 | 未完成,重新调度 |
| 2 | 9—16 | 未完成,重新调度 |
| 3 | 17—24 | 未完成,重新调度 |
| 4 | 25,结束 | 完成 |
第 9 个 token 仍依赖原输入和前 8 个输出 token。表中的每片 8 个 token 通过多次前向计算逐步生成,并非一次前向计算同时预测出来。
分片的意义要放到多请求场景中看:
| 调度机会 | 执行安排 |
|---|---|
| 第一次 | 只处理 A 的第一片 |
| 第一片之后,B 到达 | 在资源允许时,把 A 与 B 重新组为一个 batch |
| 第二次 | A 接着生成 9—16;B 开始生成自己的回答 |
| B 完成之后 | A 继续后面的片 |
片内仍逐 token 生成,片间给调度器机会加入新请求、调整 batch 或安排服务实例。如果只有 A,且每片之后立即恢复 A,分片没有创造新的请求调度收益,还可能增加开销。
SCLS v2 的主要实现针对静态批处理。未完成请求重新调度时,会基于累计上下文重新执行 Prefill,因此长输出需要承担重复 Prefill 的成本。这与 Orca 在迭代间保留并直接使用 KV 的方式不同。论文另外讨论了生成切片与连续批处理结合的方向。SCLS §III-C 与 §VII
较小的片长限制了每次调用的生成步数,有利于估计批次耗时和显存需求,但实际耗时仍会变化。SCLS 中的 offloader 负责向不同服务实例分发批次,这里的 offload 不是权重向 CPU 的卸载。
9.6 三种“分段”的区别
| 机制 | 在哪里重新安排? | 单个请求是否仍依次计算? |
|---|---|---|
| 连续批处理 | 每次模型迭代后 | 是;普通 Decode 每请求逐 token 前进 |
| Chunked Prefill | 每段已知输入之间 | 是;后一段读取前面输入的 KV |
| 生成切片 | 一小段生成调用之间 | 是;后一片依赖之前生成的内容 |
这三种机制都增加了重新调度的机会,同时保留单个请求的计算依赖,类似进程暂停后从原状态继续执行。
10. §3.3:输出长度预测给调度提供什么信息?
输入已知,可以直接数 token;输出要随着生成才逐步确定。设置“最多生成 200 个 token”只是设上限,不代表实际会输出 200 个。
综述将输出长度预测分为三类:
| 类别 | 预测结果示意 | 能提供的信息 |
|---|---|---|
| Exact Length Prediction | A 约 30,B 约 180 个 token | 一个具体数值 |
| Range-Based Classification | A 属于 1—64,B 属于 65—256 | 一个长度档位 |
| Relative Ranking Prediction | A 比 B 短 | 请求间的相对关系 |
这些数字与区间是教学示例。这里 Exact 指输出一个具体长度估计,不保证预测值完全正确。
10.1 具体长度:从历史请求学习规律
训练数据可以来自过去的请求及其实际输出长度,例如“一句话解释进程”输出 28 个 token,“详细比较进程和线程”输出 210 个 token。预测器据此学习新请求的输入特征与输出长度之间的关系。
只看输入长度不够。“简要解释进程”和“详细解释进程”的输入长度相近,但要求不同。综述引用的 Magnus 将用户输入长度与指令、用户内容的语义特征结合,用基于 BERT 的 LaBSE 编码器提取特征,再由随机森林回归预测长度。Magnus §III-B
新请求 → 提取长度与文本特征 → 长度预测器 → 预计输出长度 → 调度决策
预测器只估计长度,不需要先生成完整答案;但它自己也需要计算,并可能产生误差。Magnus 重点研究输入与输出长度有较强关联的应用,不能据此认为任意开放式聊天都容易预测。
10.2 区间分类:调度有时只需要粗略长短
若训练时将真实长度为 30 的样本标为“短”、180 标为“中”、500 标为“长”,预测器就可以学习从输入特征到长度类别的映射。预测连续数值属于回归任务,选择预设类别属于分类任务。
区间分类可以满足粗粒度优先级或分组需求,但同档内的长度仍可能相差较大,也未必比数值预测更准确。预测结果落在 65—256 档时,真实长度仍可能超过 256,显存管理需要处理低估造成的风险。
10.3 相对排序:知道谁短,未必知道短到什么程度
排序预测器根据输入估计 A、B、C 的关系,例如 。这不是对已知真实长度排序,而是预测未知输出之间的关系。
当 A 完成,B、C 留到下一批,而新请求 D 到达时,原来的关系没有说明 D 应插在哪里,可能需要重新做相对关系预测。如果 B、C 已有独立的数值估计,则可以结合 D 的新估计维护顺序。但其他方法仍有比较、排序和队列更新开销,不能把原文“避免重排开销”理解成完全没有维护成本。
综述还提到先快速判断短/长、再进行详细预测的 SkipPredict,以及利用 prompt 分析与统计规律的 BatchLLM。它们说明预测的精细程度与预测成本也需要一起设计。
输出长度只是耗时估计的一个因素。输入长度、上下文长度、batch 大小、硬件和当前负载都影响实际服务时间。预测器提供估计,调度器据此作出决策。
11. §3.4:KV Cache 的空间、复用与压缩
11.1 缓存增长与空间浪费
每个请求、每一层都有自己的历史 K、V;新的 token 送入模型计算后,新增 K、V 加入相应缓存。请求结束后通常可以释放缓存,也可以为后续复用而保留部分内容。
下面将一个 token 在所有层的 KV 抽象为一格,实际每格包含多个头、多个层的张量。假设总容量为 12 格:
| 请求 | 预留空间 | 当前实际使用 |
|---|---|---|
| A | 8 格 | 2 格 |
| B | 4 格 | 3 格 |
| 合计 | 12 格 | 5 格 |
如果未使用的预留空间无法分配给其他请求,C 即使只需要 3 格,也可能无法加入。
如果缓存还必须连续,则另外会产生外部碎片:两个空闲区域各有 2 格,中间有已占用数据,总共空闲 4 格却无法满足连续 3 格的申请。预留浪费、外部碎片与分页后最后一块未填满的空间,应分开理解。
11.2 PagedAttention:逻辑连续,物理块可以不连续
PagedAttention 将 KV 分成固定大小的块,每个请求维护逻辑块到显存物理块的映射。假设每块容纳 4 个位置的 KV,请求 A 当前有 10 个位置:
| A 的逻辑块 | 对应位置 | 显存物理块 |
|---|---|---|
| 0 | 1—4 | 5 |
| 1 | 5—8 | 2 |
| 2 | 9—10,另两格未填满 | 9 |
读取位置 6 时,系统找到逻辑块 1,对应物理块 2,再取块内第 2 格。位置的逻辑顺序仍为 1、2、3……,不会因为物理存储不连续而改变注意力依赖。
| 操作系统分页 | KV 管理中的对应物 |
|---|---|
| 进程 | 请求或序列 |
| 逻辑页 | 逻辑 KV 块 |
| 物理页框 | 显存物理块 |
| 页表 | 请求的块映射表 |
| 按需分配 | 缓存增长时分配新块 |
这个映射通常由推理软件维护,并由专门的 GPU 注意力计算程序使用,不等于直接调用 CPU 页表。注意力实现必须支持高效读取不连续的块。
固定大小的块有利于避免这类缓存分配中的外部碎片,并减少提前预留;最后一块仍可能有空余,映射表也占空间。所以原文的“几乎消除碎片”不能理解成所有空间开销严格为零。PagedAttention 原论文
11.3 KV 卸载与权重卸载不是同一种数据搬运
在常见的 GPU 推理方案中,正在使用的 KV 通常优先留在 GPU 显存,注意力也在 GPU 计算。显存紧张,或为了容纳更长上下文、更多并发,可以规划 CPU 卸载。
| 数据 | 性质 | 卸载后需要考虑什么? |
|---|---|---|
| 权重 | 模型参数,普通推理中通常固定 | 所需权重的加载或 CPU 侧计算 |
| KV | 各请求的中间状态,随上下文增长 | 历史数据频繁读取、状态传输或 CPU 侧注意力 |
对于密集全注意力,历史 KV 需要频繁读取。若缓存放在 CPU 内存、注意力仍在 GPU 上计算,就需要将相关数据传回 GPU。缓存的存储位置与注意力的计算位置需要分别确定。
综述引用的 FastDecode 将 Decode 使用的 KV 和相关注意力计算放到 CPU 侧,并利用多个 CPU 节点的容量与带宽。某一层的流程可以简化为:
GPU:计算当前输入 token 的 Q、K、V
↓ 传到 CPU
CPU:保存新 K、V,用当前 Q 与历史及当前 KV 计算注意力
↓ 返回当前 token 的注意力结果
GPU:完成当前层剩余的投影、FFN 等计算
↓ 进入下一层,继续相应流程
所有层完成后:预测下一个 token
注意力匹配需要当前 Q 以及历史和当前的 K,随后汇总相应 V。CPU 返回的是当前层的中间结果,GPU 继续完成后续计算,所有层执行完毕后才预测下一个 token。这样可以避免每步传输整段历史 KV,但仍有 CPU 计算、激活传输和流水线协调成本。FastDecode 原论文
综述另列 LayerKV、KunServe、InstCache、vAttention、PQCache 和 InfiniGen 等。它们涉及分层分配或卸载、为缓存让出权重空间、预测、虚拟内存管理、近似表示、预取等不同路线,不能统一概括成普通分页。这里保留研究入口,不展开其全部实现。
11.4 相同前缀为什么可以共享 KV?
假设两个请求使用相同模型及相关计算设置,且分词后的公共前缀、位置完全相同:
A:[你是一名计算机老师,请用通俗语言回答。]+[什么是进程?]
B:[你是一名计算机老师,请用通俗语言回答。]+[什么是线程?]
因果掩码使前缀位置看不到后面的差异,所以公共前缀已算出的各层 KV 可以复用。不同后缀仍各自计算,并且读取公共前缀的 KV。
只出现相同词并不够,例如“吃苹果”与“苹果公司”中的词可能相同,但上下文和位置不同,不能仅凭词一样复用对应 KV。
共享前缀时,两个请求的映射表可以指向同一批物理块,减少重复存储。写入分叉内容时,系统需要避免修改其他请求使用的状态,例如采用写时复制或分配私有块。
复用必须实际命中仍有效的缓存。一些实现按完整块命中,末尾少量 token 或生成首输出所需的状态仍要补算。它主要减少共享前缀的 Prefill 重算,不会省掉后续 Decode 对历史 KV 的读取。vLLM 前缀缓存说明
11.5 基数树:匹配最长前缀,管理可复用缓存
基数树是压缩的前缀树,一条边可以代表多个 token。假设已有三条 token 序列,字母只是 token 的代号:
A:[a,b,c,x] B:[a,b,c,y] C:[a,b,d,z]
起点
└─ [a,b]
├─ [c]
│ ├─ [x]
│ └─ [y]
└─ [d,z]
新请求 D 为 ,沿树匹配就能找到最长已缓存前缀 ,复用它的 KV,再计算 。
基数树用于组织前缀,系统还需要插入和拆分节点、维护引用并淘汰缓存。以 SGLang 的 RadixAttention 为例,树索引放在 CPU,实际 KV 保存在 GPU 的分页存储中;LRU 配合引用计数,避免淘汰正在使用的节点。SGLang §5.1
长前缀反复命中时,可以节省较多 Prefill 计算和重复存储;缺少公共前缀时,收益较小。树的维护有成本,为未来复用而保留已完成请求的 KV 也会占用空间,因此需要淘汰策略。
11.6 跨轮对话:历史文字与历史 KV 分开看
下一轮输入通常包含之前的对话和新的问题:
[上轮用户问题]+[上轮模型回答]+[本轮新问题]
└────────────旧历史───────────┘ └─新增─┘
若旧历史对应的有效 KV 仍被保存,就可以复用,补算新问题和未缓存尾部;若 KV 已释放,但历史文字仍存在,也可以重新 Prefill 后继续对话。
长期保存聊天记录不要求 KV 一直常驻显存。文本等历史信息用于重建输入,KV 则用于减少处理这些上下文时的重复计算。
综述引用的 CachedAttention 专门优化跨轮复用,通过分层缓存保存历史 KV,并用预加载、异步保存和调度协作减少访问慢存储带来的等待。缓存位置和取回成本都是设计的一部分,不能理解成永久 GPU 常驻。CachedAttention 原论文介绍
11.7 GPTCache:语义相近时复用答案,不是直接复用 KV
原文在 Semantic-aware Reuse 中介绍 GPTCache 和 SCALM。这里范围已经扩展到服务层的语义结果缓存,尤其 GPTCache 主要保存历史问题及其答案。
例如“Python 怎么读取文本文件?”已经回答过;新问题“如何用 Python 读取一个文本文件?”语义接近,系统通过检索用的 embedding 找到旧问题,并判断是否命中。命中后可以直接返回旧答案,不必再调用大模型;未命中则正常生成,并保存新的问答。GPTCache 原论文
| 比较项 | 前缀 KV 复用 | 语义答案缓存 |
|---|---|---|
| 匹配依据 | 相同 token 前缀和计算条件 | 问题的语义相似度及命中策略 |
| 复用内容 | 中间张量 K、V | 已生成的答案 |
| 命中后 | 继续计算后缀和生成新答案 | 可以直接返回旧答案 |
| 主要风险或限制 | 缓存有效性、命中粒度、存取开销 | 相似问题未必适用同一答案 |
语义向量用于检索,不是把不同问题“转码成一份相同 KV”。典型流程复用缓存答案,不是按语义拼接历史 KV。相似度评估和阈值可以配置,没有适用于所有应用的统一边界;例如“读取文件”与“读取大文件并控制内存占用”主题近,要求却不同。SCALM 进一步研究查询的语义模式和缓存组织。
11.8 KV 量化:减少每个数的位数
量化使用较低位宽表示 K、V 张量中的数值,以减少存储空间。token 数量和张量维度可以保持不变,但数值误差可能影响注意力分数或加权求和结果。
若数值从每个 16 bit 改为 4 bit,仅数值载荷理论上变为原来的四分之一。但缩放参数、分组信息、保留的高精度部分等也占空间,整体压缩率不能直接照搬这个比例。
缩放系数是什么?用“刻度”理解
缩放系数 scale 可以理解为“保存的整数每增加 1,对应的原始值增加多少”。在一个省略偏移、且没有超出可表示范围的简化量化例子中:
是原始标量, 是缩放系数, 是保存的整数, 是恢复出的近似值;round 表示就近取整。这里都是标量操作,不会改变原张量的维度。实际算法还可能包含零点、截断和不同分组方式。
取 :
| 原始值 | 保存的整数 | 恢复值 |
|---|---|---|
| 0.12 | 1 | 0.10 |
| 0.27 | 3 | 0.30 |
| −0.31 | −3 | −0.30 |
例如 ,取整保存为 3,再乘回 0.1 得到 0.30。每组可以共用一个 ,但不能只保存整数而忘记它对应的刻度。
低位宽整数只有有限个可表示值。假设使用简化的 4 bit 有符号整数,取值范围为 。刻度为 0.1 时,可表示范围为 −0.8 至 0.7;刻度为 5 时,范围为 −40 至 35。小刻度分辨率较高但范围较窄,大刻度范围较宽但精度较低。这里用于解释量化,不是 KIVI 的具体 2 bit 编码。
KIVI:K 按通道,V 按 token 分组量化
看某层、某个注意力头的一张 示例 K:
| Token 位置 | 特征 1 | 特征 2 |
|---|---|---|
| token 1 | 0.10 | 10 |
| token 2 | 0.15 | 15 |
| token 3 | 0.20 | 20 |
行对应 token,列对应特征维度,这里“通道”可以理解为一列。共用较粗刻度 5 时,第一列都可能取整为 0;若第一列用 0.05、第二列用 5,两列各自得到整数 2、3、4,再乘回各自刻度。该例仅说明分组动机。
KIVI 根据所研究模型的 K、V 分布采用不同量化方式:K 按通道量化,即沿同一特征列跨 token 分组;V 按 token 量化,即沿同一行的特征维度分组。实际实现还保留部分高精度缓存,并非所有 K、V 数值都变为 2 bit。KIVI 原论文
量化通过降低数值精度节省空间,按不同分组选择参数则有助于控制误差。
综述在这一段还列出 AWQ,但它主要量化模型权重,应与 KV 量化区分。MiniCache 利用跨层 KV 相似性,QServe 结合权重、激活和 KV 的低精度设计;这些方法处理的对象和压缩方式各有不同。AWQ 原论文
11.9 CacheGen:进一步编码,减少 KV 传输
CacheGen 针对已有 KV 不在本机 GPU、需要跨网络取回的情形,将缓存编码成紧凑二进制流,再在接收端还原供模型使用。
已算好的 KV → 压缩编码 → 更小的数据流 → 网络传输 → 解压还原 KV → 模型继续计算
这里的编码/还原处理数据格式,不是模型生成 token 的 Decode 阶段。传输表示变小,也不代表恢复后的 K、V 一定少了行或列。
用一个假设例子:原始 1 GB、有效传输速度每秒 0.5 GB,传输需 2 秒;若编码后为 0.25 GB,传输为 0.5 秒,编码和还原合计再花 0.1 秒,总计约 0.6 秒。真正要比较的是省下的传输时间能否覆盖额外处理成本,而不是仅比较文件大小。
CacheGen 与哈夫曼编码都利用数据的统计分布减少编码长度,但具体采用的是定制量化与算术编码。量化引入近似,算术编码则无损压缩量化后的离散数据;组合流程不能因此视为无损。CacheGen 还根据带宽选择压缩级别,或重新计算部分上下文。CacheGen 原论文
11.10 本节的统一比较
| 路线 | 主要节省什么? | 新增成本或限制 |
|---|---|---|
| 分页分配 | 预留浪费、外部碎片 | 块索引、末块空余、专门的注意力实现 |
| KV 卸载 | GPU 常驻缓存空间 | 传输或 CPU 侧计算、协调 |
| 前缀/跨轮复用 | 重复 Prefill、重复保存 | 匹配、保留、有效性与淘汰管理 |
| 语义答案缓存 | 可接受复用时的一次完整生成 | 检索成本、误命中;主要不是 KV 复用 |
| KV 量化 | 每个缓存数值的表示空间 | 误差、辅助参数、计算支持 |
| 紧凑编码 | 保存或传输的数据量 | 编码/还原成本,可能结合有损量化 |
这些路线可以组合。分页没有减少有效 KV 的数量,前缀复用没有省掉后续注意力读取,卸载没有凭空增加传输带宽,量化和编码也不自动保证速度提升。
12. §3.5:Prefill/Decode 分离与 KV 交接
12.1 分离的是执行阶段,不是模型层
长 Prefill 与持续 Decode 共用一组 GPU 时,可能互相争抢执行时间。Chunked Prefill 在共同资源里缩短单轮长任务;完整 PD 分离则将两个阶段放到不同 GPU 组。
用户输入
↓
Prefill GPU 组:处理完整输入,得到输入 KV 与首个输出 token
↓ 交接 KV、首 token 等继续生成所需的信息
Decode GPU 组:输入首 token,预测第二个;输入第二个,预测第三个……
两组通常各自承载同一个模型的权重。Prefill 和每轮 Decode 都经过完整模型,而非分别执行前半层和后半层。在单张 GPU 足以承载模型的配置下,最简单的部署可以各用一张 GPU;模型较大时,两组也可以各含多张 GPU,数量不必相等。
同一请求仍先 Prefill 后 Decode。并行机会来自不同请求:Prefill 组处理新请求 B 时,Decode 组继续处理旧请求 A。
12.2 为什么拆开,如何衡量收益?
在典型配置下,长输入 Prefill 更容易受计算能力限制,Decode 更容易受内存带宽限制;实际瓶颈仍取决于 batch、上下文、模型和实现。拆开以后,可以分别选择批大小、GPU 数量和并行方式,更好地满足 TTFT 与 TPOT 要求。DistServe 原论文
两侧处理能力也需要匹配。假设 Prefill 侧每秒能处理 20 个请求,Decode 侧每秒只能持续完成 8 个请求,则系统无法稳定承载每秒 20 个请求,请求会在交接或 Decode 队列中积压。
评价应比较相同资源预算下的延迟、吞吐或 Goodput,或者达到相同 SLO 需要多少 GPU。多用设备本身不能作为系统设计更高效的证明。
12.3 KV 传输是交接成本
假设一个请求需要迁移 0.8 GB KV:
| 有效传输速度 | 理想传输时间 |
|---|---|
| 每秒 16 GB | 50 毫秒 |
| 每秒 1 GB | 800 毫秒 |
实际还要考虑固定延迟、排队、布局转换和同步;系统可以用流水线、压缩或重叠传输优化。DistServe 因此考虑设备放置和带宽,而不是只将阶段拆开。
这笔迁移通常发生在从 Prefill 转到 Decode 的交接中,后面可以在 Decode 侧不断追加新 KV,不必每生成一个 token 就把整份历史从 Prefill 侧再搬一次。如果后续还有卸载或请求迁移,则是另外的传输。
交接开销落入哪个用户指标,要看首 token 何时发送:若已在 Prefill 后发出,交接等待可能体现为首个到第二个输出之间的间隔;不能机械地把全部迁移时间都归入 TTFT。
原文还列 Splitwise、HEXGEN-2、DéjàVu、Mooncake、TetriInfer、P/D-Serve 和 FlowKV 等,分别从设备配置、调度、缓存状态和通信等角度优化分离服务。这里重点是共通的计算、存储与交接关系,不据综述简述推断每个系统的全部设计。
12.4 Semi-PD:同一张 GPU 内,计算分开、存储共享
Semi-PD 在同一张 GPU 上,通过 CUDA MPS 为 Prefill 和 Decode 配置 SM 资源份额,并共享模型权重和 KV 存储。资源安排如下:
同一张 GPU
├─ 一组 SM 资源:Prefill
├─ 另一组 SM 资源:Decode
└─ 共同显存:同一模型的权重与请求的 KV
同一请求切换阶段时,KV 已在本卡显存中,无需跨 GPU 迁移。单个请求仍先执行 Prefill,再执行 Decode;并发来自不同请求。资源份额可以根据负载和 SLO 调整,但调整过程仍有协调开销。Semi-PD 原论文
原文“消除 KV 传输开销”应限定为这类阶段交接的跨设备迁移:注意力仍要读取显存,计算调度、同步和共享带宽竞争也仍有成本。
| 方案 | 计算安排 | 存储关系 |
|---|---|---|
| 普通部署 | 两阶段共同使用计算资源,由调度器安排 | 共享权重和缓存存储 |
| 完整 PD 分离 | 两个不同 GPU 组 | 各自存权重,需要交接 KV |
| Semi-PD | 同 GPU 内划分计算资源 | 共享权重、KV,无需这类跨 GPU 交接 |
Semi-PD 的两组执行资源共享同一张 GPU 的存储,不能类比为两张拥有独立显存的卡,也不等同于 MIG 的硬件划分。
13. §3.6:多模型共享 GPU
13.1 时间共享与空间共享
当多个模型的请求量不均,或部分模型经常空闲时,让每个模型独占一组 GPU 可能浪费资源。共享资源可以利用这些空闲时段,但仍需满足各模型的延迟要求。
| 方式 | 如何共享 | 需要考虑的成本 |
|---|---|---|
| 时间共享 | 不同时间执行不同模型的工作 | 调度、可能的权重换入换出与状态保存 |
| 空间共享 | 给任务分配部分计算或显存资源,支持并发 | 资源限制、带宽竞争、隔离与负载配平 |
模型权重若能同时常驻,可主要切换计算任务;放不下时,切换模型可能要加载权重。共享同一 GPU 不意味着不同模型自动使用相同参数或互相复用 KV。
13.2 SM、CUDA Core 与 CUDA 分别是什么?
SM 全称 Streaming Multiprocessor,常译“流式多处理器”。它比单个 CUDA Core 大一个层级,是包含执行单元、调度与局部存储的硬件模块。省略更高层分组后,可这样理解:
一张 GPU
├─ SM 0
│ ├─ 多个 CUDA Core:普通算术运算
│ ├─ Tensor Core:专门的矩阵运算
│ ├─ 线程调度器
│ └─ 寄存器、共享内存、L1 缓存等
├─ SM 1
└─ 更多 SM
现代 NVIDIA GPU 的具体结构和单元数量随架构变化,图仅表达层级关系。
| 名称 | 含义 |
|---|---|
| CUDA | 并行计算平台和编程模型 |
| CUDA Core | 较小的算术执行单元 |
| SM | 包含许多执行单元、调度器和局部存储的模块 |
显卡参数中的几千个 CUDA Core 不等于几千个 SM,单个 CUDA Core 也不能直接类比完整 CPU 核心。前面“分配 SM”就是分配成组的执行资源。NVIDIA CUDA 编程指南
13.3 MIG:配置硬件支持的 GPU 实例
MIG 在支持该功能的 GPU 上创建 GPU Instance。不同实例分配到各自的 SM、显存容量以及对应的缓存与内存访问资源,程序可以将它们作为设备使用。
MIG 通过划分现有硬件资源并限制其执行和访问来实现隔离,无需将芯片物理切开。NVIDIA 文档列出了独立分配的片上互连端口、L2 缓存组、内存控制器和 DRAM 地址总线。MIG 硬件说明
驱动等软件负责配置,底层需要芯片提供划分和隔离能力,不能仅凭固件把任意 GPU 变成支持 MIG 的卡。可类比操作系统配置页表、MMU 执行转换和权限约束的分工,但两者具体硬件机制不同。
MIG 的优势是隔离与性能可预测性。在既定实例划分下,A 暂时空闲的资源不会自动成为 B 的可用资源;配置调整也受硬件规格与状态限制。这里讨论 GPU Instance 的隔离,不要与同一 GPU Instance 内进一步创建、共享内存的 Compute Instance 混为一谈。MIG 概念文档
13.4 MuxServe:软件协调 SM 与显存空间
MuxServe 使用 CUDA MPS 辅助配置计算资源,结合模型热度、阶段特点、部署算法与自适应批调度,安排多个模型的任务。它可以让某个任务使用较多 SM,也可以让多个任务并发共享资源。
其内存管理器统一管理 KV 空间、模型权重和激活区。不同模型的 KV 从共同的空间池按需分配,每个请求的数据仍独立;同一个模型的 Prefill 和 Decode 工作可以使用同一份权重,不能误解成不同模型共用一份权重。MuxServe §3.4
| 比较项 | MIG GPU Instance | MuxServe 的共享方案 |
|---|---|---|
| 主要机制 | 硬件资源划分 | 软件调度与统一资源管理 |
| 显存资源 | 按实例划分 | 统一管理、按需分配 |
| 隔离 | 硬件隔离更强 | 共享资源,需要协调竞争 |
| 灵活性 | 受实例规格与配置限制 | 可按任务动态安排计算与缓存分配 |
原文将两者都概括为适合强隔离,这需要区分:MPS 下的资源共享不提供与 MIG 相同的硬件隔离。原文还将这些方案称为“静态”,但 MuxServe 包含动态 SM 分配和自适应批调度;任务级的动态安排与模型部署策略的重配置是不同层次。
13.5 QLM 与 Prism:需求变化时重新协调
QLM 根据请求队列和端到端 SLO,协调模型切换、请求处理和其他服务操作。模型切换可能涉及权重加载与旧 KV 的处理,不是一个没有成本的瞬时操作。QLM 原论文
Prism 更关注跨模型的动态显存协调和需求感知的部署。例如 A 空闲、B 的请求突然增加时,重新安排资源,让 B 获得更多可用空间;它还考虑模型重新激活的成本。Prism v1
Prism 所用的系统级虚拟/物理显存映射,与 PagedAttention 的应用级逻辑 KV 块映射处于不同层次。两者都能联系操作系统内存管理,但不能当作同一个机制。
14. 第 3 节原文简化、分类与实现差异核对
| 位置或表述 | 需要区分什么? | 更准确的理解 |
|---|---|---|
| §3.1 单卡放不下模型 | 对大模型的概括与实际配置 | 不适用于所有模型;还需计入 KV 和临时空间 |
| Sequential parallelism | 名称写法 | 常用名称是 Sequence parallelism;不要与按时间串行执行混淆 |
| fine-tuned workload allocation | 工作量分配与参数训练 | 此处是精细调整 CPU/GPU 分工,不是训练微调 |
| §3.2 Intra-Request Scheduling | 标题字面与段落内容 | 主要讨论并发批次内的组织和执行粒度 |
| 图 2 的输出速率 | 统计窗口和是否包含等待 | 需先定义口径,不能把示意图数字直接当统一吞吐指标 |
| 固定生成切片 | 限制生成步数与固定墙钟时间 | 输出步数受限,真实耗时仍依赖输入、batch 和实现 |
| SCLS 与 Orca | 调度粒度与状态保存实现 | SCLS v2 主实现重新调度会重复 Prefill,不自动继承 Orca 的 KV 续算方式 |
| Exact Length Prediction | 具体数值与必然准确 | 指数值预测形式,仍可能有误差 |
| 相对排序的重排代价 | 重新预测关系与一般队列维护 | 其他预测方式也有比较、排序和维护成本 |
| §3.4 平方变线性 | 哪一步、哪部分成本 | 缓存避免历史重算,不能概括整个生成和 Prefill 都为线性 |
| 几乎消除碎片 | 外部碎片、末块空余、管理数据 | 不表示所有浪费和索引开销为零 |
| KV 存 CPU | 存放位置与计算位置 | 可以取回 GPU,也可以将相关注意力放 CPU |
| 表 2/Semantic-aware Reuse | 中间状态与最终结果 | GPTCache 主要缓存答案,不能全归入精确 KV 复用 |
| AWQ 出现在 KV 压缩段 | 权重与 KV | AWQ 主要量化权重 |
| per-channel/token | K、V 的具体方向 | 本文行是 token、列是特征;K 按列分组,V 按行分组 |
| Compact Encoding | 传输表示与恢复后张量维度 | 编码成小数据流,不代表恢复后必然少行少列 |
| Semi-PD 消除传输 | 阶段间跨 GPU 迁移与显存读取 | 省掉前者,后者和同步开销仍存在 |
| MIG 和 MPS 的隔离 | 硬件隔离与资源共享 | 不能视为同等隔离保证 |
| MuxServe 被概括为静态 | 任务分配与模型部署层次 | 存在动态 SM 和批调度,不等于所有资源配置完全动态 |
| 文献时间截止 | 自述范围与实际引用 | 综述自述截至 2025 年 4 月底,但引用 Prism 的 v1 于 5 月 6 日公开,截止描述不宜视为严格边界 |
这里既有术语混用,也有需要补充条件的简化表述,不能一概称为笔误。图 2 的速率还需要单独核对:假设两个请求同时到达,分别生成 10 个和 2 个 token,以每秒 1 个 token 完全串行执行,并从共同到达时刻计算请求完成时间,则长请求先执行时,短请求的归一化输出速率为 token/s;短请求先执行时,长请求的速率为 token/s。这与图中的 0.2 和 0.9 不完全一致。图中没有明确完整计时边界和取整方式,因此这里保留差异,不直接判定为笔误。
本章各方法没有在综述中统一条件下重新评测。不同原论文的吞吐提升倍数、GPU 配置、数据集和 SLO 不应直接放在一张表里排序比较。
15. 第 3 节最容易混淆的问题
Batch 是不是 token 数?
不是。Batch size 通常表示本轮一起处理的请求或序列数量;每个请求还有各自的输入长度、上下文长度和本轮计算量。
同一请求有依赖,为什么还分片?
分片提供重新调度的机会,可以接纳其他请求或调整资源安排。计算依赖仍然保留,后一片接着前一片继续;只有一个请求且立即恢复执行时,没有新的请求调度收益。
第 8 和第 9 个输出 token 是否相关?
相关。第 9 个 token 基于原输入和前 8 个输出 token 预测。切片划分的是服务调用或调度边界,各片段的生成仍有依赖。
前缀完全一致,后缀就可以不计算吗?
后缀仍要计算,而且读取共同前缀的 KV。复用还要求模型与位置等条件一致、缓存有效并命中。实现可能只复用部分完整块。
语义接近是否能直接用同一份 KV?
不能据相似度直接推断精确 KV 可共享。GPTCache 的典型语义命中是返回旧答案,检索 embedding 不是生成模型的 K、V。
分页、基数树和量化是不是三种同类压缩?
分页处理分配和碎片,基数树组织前缀匹配与缓存管理,量化改变数值表示精度。目标相关,但改变的对象不同。
有聊天历史,是否意味着 KV 一直存在?
不意味着。可以保存文字等信息,需要时重新计算 KV;缓存持久化与聊天记录保存是两层机制。
完整 PD 是不是把模型拆成前半层和后半层?
不是。分的是输入处理与逐步生成这两个执行阶段,两阶段各自都经过完整模型。
SM 是不是一个 CUDA Core?
不是。一个 SM 包含许多执行单元、调度与局部存储;CUDA 是编程平台,CUDA Core 是更小的算术执行单元。
Semi-PD 是否等同于创建两个 MIG 实例?
不等同。这里的 Semi-PD 共享模型存储,重点划分计算资源;MIG GPU Instance 则提供包含显存访问资源在内的硬件划分。要根据具体系统确认采用哪种机制,不能只凭“切一张卡”判断。
16. 第 3 节总结、与 408 基础知识的联系及组会汇报
第 3 节形成一条系统优化路径:
模型与设备放置 → 请求调度与工作量估计 → KV 空间和数据管理 → 阶段交接 → 多模型资源协调。
阅读一个方法时,可以依次问:它改变了什么?节省的是计算、空间、传输还是排队?新增了什么开销?收益对应 TTFT、TPOT、吞吐还是带 SLO 的承载能力?在哪种负载和硬件下成立?
| 基础知识(408 涉及的内容) | 推理服务中的应用 | 需要考虑的 LLM 特点 |
|---|---|---|
| 调度、时间片、优先级 | 请求顺序、抢占、执行切片 | 输出未知、逐 token 依赖、状态恢复成本 |
| 分页与映射 | KV 逻辑块到显存物理块 | 注意力实现要读取不连续缓存 |
| 局部性与 LRU | 热冷放置、缓存命中与淘汰 | KV 随请求增长,活跃状态不能随意删除 |
| 树和前缀匹配 | 基数树查找公共前缀 | 精确复用要求相同上下文和计算条件 |
| 哈夫曼/熵编码思想 | KV 的紧凑编码与传输 | 编码开销、量化误差、网络与还原速度 |
| 计算机组成原理与并行计算 | CPU/GPU 协作、SM 资源划分 | 计算、显存带宽和通信瓶颈各不相同 |
调度、分页和缓存等基础知识有助于理解这些方法。具体设计仍需考虑模型的计算依赖、张量布局、内存访问和服务负载,并通过实验验证。
约 15 分钟组会可以按以下时间预算取舍:
| 时间 | 内容 |
|---|---|
| 2 分钟 | 用综述第 2 节介绍 Prefill、Decode、每层 KV 和主要指标 |
| 1 分钟 | 模型放置:容量、并行与卸载的基本成本 |
| 3 分钟 | 请求调度:连续 batch、Prefill 分块;长度预测作为辅助信息 |
| 4 分钟 | KV:分页映射与前缀复用为重点,量化/编码说明目标和代价 |
| 2 分钟 | PD 分离:不同资源需求、KV 交接与 Semi-PD |
| 1 分钟 | 多模型共享:隔离与灵活性取舍 |
| 2 分钟 | 总结工作负载条件、收益指标和想进一步实践的问题 |
短汇报可以用一个 batch 更新例子、一张 KV 块映射表和一条阶段交接流程说明主要机制,无需逐个列出所有方法名。
参考资料
- Ranran Zhen et al. Taming the Titans: A Survey of Efficient LLM Inference Serving. INLG 2025. 本文整理第 2—3 节,图 1—5、表 1—2 和公式 (1)—(3),印刷页 523—526。ACL Anthology
- Ashish Vaswani et al. Attention Is All You Need. 用于核对单头/多头注意力、因果掩码与经典 FFN 的记号。原论文
- Yinmin Zhong et al. DistServe: Disaggregating Prefill and Decoding for Goodput-optimized Large Language Model Serving. 用于核对阶段特征、TPOT 和 Goodput 的定义。原论文
- Amey Agrawal et al. Etalon: Holistic Performance Evaluation Framework for LLM Inference Systems. 用于核对评价口径及流畅度指标。原论文 v2
- GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism. 流水线并行的参考;本文时间线是机制示意,不是该论文实验。原论文
- Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism. 用于理解算子内张量切分与通信。原论文
- PowerInfer: Fast Large Language Model Serving with a Consumer-grade GPU. 热冷神经元与 CPU/GPU 协作。原论文
- Orca: A Distributed Serving System for Transformer-Based Generative Models. 迭代级调度与选择性批处理。OSDI 2022 原论文
- Taming Throughput-Latency Tradeoff in LLM Inference with Sarathi-Serve. 分块 Prefill 与生成节奏。OSDI 2024 原论文
- Slice-Level Scheduling for High-Throughput and Load-Balanced LLM Serving. 生成切片、静态批处理主实现与重复 Prefill 成本。原论文 v2
- Enabling Efficient Batch Serving for LMaaS via Generation Length Prediction. Magnus 的长度预测与批组织。原论文
- Efficient Memory Management for Large Language Model Serving with PagedAttention. 分页、共享和缓存管理。原论文
- FastDecode: High-Throughput GPU-Efficient LLM Serving using Heterogeneous Pipelines. CPU 侧 KV 和相关注意力计算。原论文
- Efficiently Programming Large Language Models using SGLang. 作为基数树前缀管理的补充实例。原论文 v1 §5
- Cost-Efficient Large Language Model Serving for Multi-turn Conversations with CachedAttention. 跨轮 KV 复用与分层存储。USENIX 论文介绍
- GPTCache: An Open-Source Semantic Cache for LLM Applications Enabling Faster Answers and Cost Savings. 用于核对缓存的是答案而非精确 KV。原论文
- KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache. K、V 的不同量化分组。ICML 2024 论文页面
- AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration. 用于区分权重量化与 KV 量化。原论文
- CacheGen: Fast Context Loading for Language Model Applications via KV Cache Streaming. 量化、算术编码与网络传输。本文核对的 v3
- semi-PD: Towards Efficient LLM Serving via Phase-Wise Disaggregated Computation and Unified Storage. 同设备内计算资源划分、统一存储。原论文 v1
- MuxServe: Flexible Spatial-Temporal Multiplexing for Multiple LLM Serving. 多模型动态计算安排与统一内存管理。原论文 v2
- Queue Management for SLO-Oriented Large Language Model Serving. QLM 的队列管理与模型切换。作者提供的论文
- Prism: Unleashing GPU Sharing for Cost-Efficient Multi-LLM Serving. 跨模型动态显存协调。原论文 v1
- NVIDIA CUDA Programming Guide. SM、线程和执行资源的官方解释。硬件模型
- NVIDIA Multi-Instance GPU User Guide. MIG、MPS 与硬件资源隔离。概念与对照
- vLLM Automatic Prefix Caching. 前缀复用机制和适用范围;框架文档随版本变化。官方文档
本文数值矩阵、续写例子、调度时间线、资源比例、量化算例、传输速度与负载测试表均为教学示例,不是上述论文报告的实验结果。显存估算采用明确给出的配置,不对应特定模型的实测。框架文档用于补充机制说明,不应反推所有生产服务的实际实现。