DEXUN GPU NEWS
资讯中心
汇集 GPU 选型、模型训练、推理部署与高性能计算资讯。
哪些团队适合在大模型微服务中采用路由和版本灰度？
适合采用路由和版本灰度的团队，通常需要同时管理多个模型版本或服务实例，并具备监控、评估和回滚能力。本文说明适用条件、实现差异、渐进发布步骤及常见风险。
阅读全文 →
仅凭GPU利用率触发扩容容易误判，推理服务应结合排队时延
GPU利用率只能说明设备忙碌程度，不能直接代表请求是否受阻。本文介绍如何结合排队时延、并发请求和吞吐量设置扩缩容条件，并给出观察窗口、冷却时间及扩容与缩容的差异。
阅读全文 →
推理服务扩缩容阈值怎么定，如何避免抖动与资源闲置？
阈值应从延迟目标和实测容量倒推，而不是只看 GPU 利用率。文章给出扩容、缩容、冷却与预热的设置步骤，并说明如何降低扩缩容抖动和资源闲置。
阅读全文 →合理规划KV缓存能提升多少并发，在线服务该如何评估？
KV缓存容量影响模型服务能同时保留多少请求的上下文，但并发提升没有固定倍数。本文给出容量估算公式、配置示例和压测步骤，说明如何在显存、安全余量与延迟目标之间做取舍。
阅读全文 →
静态预留与动态分配各有边界，在线KV缓存应按负载规划
在线KV缓存规划要同时考虑模型结构、实际上下文长度、并发和设备可用显存。本文比较静态预留与动态分配的适用条件，并给出容量估算、压测和调整步骤。
阅读全文 →
5类在线服务场景下，KV缓存容量规划该如何取舍
从交互聊天、长文档问答、代码助手、批量生成和智能体服务五类场景出发，说明KV缓存的估算方法、容量取舍与落地步骤，帮助在并发、时延和显存占用之间找到适合自身业务的配置。
阅读全文 →