在线推理该预留多少KV缓存，才能避免显存投入失衡？
KV缓存容量应按并发请求实际占用的令牌数估算，而不是直接按模型最大上下文预留。文章给出计算公式、容量示例、预留边界和上线校准步骤，帮助在吞吐、延迟与显存成本之间取得平衡。
阅读全文 →DEXUN GPU NEWS
资讯中心
汇集 GPU 选型、模型训练、推理部署与高性能计算资讯。
新手看首Token时延：5项硬件路径优化方法怎么选
先区分排队、提示词计算与硬件传输，再比较加速器配置、数据搬运、注意力内核、低精度计算和图执行五条优化路径。附上可操作的测试步骤与常见问题，帮助按瓶颈和服务目标选择方案。
阅读全文 →
企业内网部署知识库问答，计算节点配到什么程度合适？
计算节点应按模型大小、同时提问人数、上下文长度和响应要求配置。文章提供从单卡验证到多卡生产的参考范围，并说明如何逐步测试、扩容，避免只看显卡型号或参数量。
阅读全文 →
节点配置进入进阶阶段后，别忽略检索与推理的资源争用
本地知识库问答的节点规划不能只看模型能否启动。本文拆解向量检索、重排与生成阶段的资源冲突，并给出单机和拆分部署的选型思路、监控指标及调优步骤。
阅读全文 →
本地知识库问答如何配计算节点，才能兼顾响应和并发？
按生成、检索与重排拆分负载，再结合模型大小、同时请求数和响应目标配置计算节点。提供硬件取舍、容量估算、部署步骤与压测方法，帮助在响应速度和并发能力之间做出可验证的选择。
阅读全文 →