-
多个模型争抢 GPU,怎样做 SLO 容量规划与故障冗余?从平均吞吐无法指导多模型部署出发,手算 SLO 容量、GPU 整数分配与 N+1 余量,给出可回放的规划器和上线流程。
16 分钟 中文 -
所有请求都接收为何会让所有人超时?LLM Admission Control 的期限、Token 预算与过载保护从无限排队的延迟崩塌出发,手算可完成性,解释 token 工作量、deadline slack、公平配额、拒绝与降级。
16 分钟 中文 -
GPU 利用率不高为何仍要扩容?推理 Autoscaling 的队列信号、冷启动与 SLO Goodput从突发流量压垮 TTFT 出发,手算副本需求,解释排队 tokens、KV 压力、冷启动提前量与稳定扩缩容。
16 分钟 中文 -
命中缓存却排队更久怎么办?Load-aware Routing 的亲和—负载权衡从热门前缀制造单副本热点出发,手算缓存收益与相对负载评分,解释 β 阈值、冷副本溢出、陈旧指标和可验证调参。
17 分钟 中文 -
同一段前缀该送到哪张卡?KV Cache-aware Routing 的命中定位与副本亲和从轮询打散前缀缓存出发,手算最长块命中,把请求 token、KV 事件索引与副本选择串成可验证的 KV 缓存感知路由。
16 分钟 中文 -
EOS 还没出现,怎样估计剩余生成量?输出长度的分位数预测与不确定性保护从点预测低估导致错误调度出发,用分位数覆盖区间表达输出长度不确定性,手算 pinball loss,并实现可校准、可回退、可在线更新的长度预测器。
16 分钟 中文 -
队列里谁该先生成?SLO-aware Scheduling 的剩余余量、抢占与公平性从 FCFS 无法区分紧急程度出发,手算 deadline slack,用预测剩余服务时间排序请求,并讨论抢占成本、准入控制、aging 公平性与 vLLM priority 的实现边界。
15 分钟 中文 -
吞吐更高为何用户却更慢?用 SLO Goodput 为 Prefill/Decode 池配比从吞吐与延迟目标的冲突出发,手算 SLO Goodput,用 token service demand 估算 P/D 容量,并通过负载扫描、分桶与排队指标找出可持续的流量边界。
14 分钟 中文
返回