-
一个长 Prompt 为何让所有流式输出停顿?Chunked Prefill 的 Token 预算从 prefill 阻塞 decode 的延迟尖峰出发,手算 token budget 下的分块调度,解释 KV 递增、优先级、容量保护与当前 vLLM 配置验证。
14 分钟 中文 -
请求不断到达时为何还要等整批结束?Continuous Batching 的逐轮调度从静态批处理的尾部空洞出发,手算逐迭代请求替换,解释 prefill/decode 混合、token 预算、KV 容量、延迟指标与可验证的 vLLM 配置。
15 分钟 中文 -
KV Cache 还有空间为何新请求却进不来?PagedAttention 的块表与碎片控制从变长生成的显存碎片出发,手算逻辑块到物理块的映射,解释 PagedAttention 的动态增长、Copy-on-Write、调度契约与服务端验证。
16 分钟 中文
返回