DailyInfo Summary
提出基于尾延迟校准的调度方法 VelServe,缓解 LLM 推理中的解码抖动并提升尾部延迟稳定性。
Original Source
摘要用于研究导航;结论、版本与引用信息请以原始来源为准。
技术信息
Stable ID: arxiv-2611.18392
Canonical URL: https://iheadwater.github.io/dailyinfo-web/arxiv/arxiv-2611.18392/
2611.18392提出基于尾延迟校准的调度方法 VelServe,缓解 LLM 推理中的解码抖动并提升尾部延迟稳定性。
摘要用于研究导航;结论、版本与引用信息请以原始来源为准。
Stable ID: arxiv-2611.18392
Canonical URL: https://iheadwater.github.io/dailyinfo-web/arxiv/arxiv-2611.18392/