DEXUN GPU NEWS
资讯中心
汇集 GPU 选型、模型训练、推理部署与高性能计算资讯。
比较推理运行时与硬件时，不能只看设备是否被识别。本文从驱动、运行时版本、算子覆盖、精度和性能验证入手，说明 CUDA、ROCm、oneDNN 与 OpenVINO 等方案的适用条件，并给出可执行的核对步骤。
阅读全文 →请求延迟波动，往往与批次等待、队列积压、输入长度和模型计算负载共同有关。本文介绍如何区分固定批处理与动态合批，设置批量上限和等待窗口，并通过逐步压测找到适合服务延迟目标的配置。
阅读全文 →
从请求分类、批次上限、等待时间、并发控制到监控回调，给出六项可落地的合批配置建议，帮助在成本、吞吐与响应延迟之间取得平衡。
阅读全文 →
持续高并发时，动态合批可将多个请求合并执行，在吞吐量、等待时间和尾延迟之间取得平衡。本文说明适用条件、配置步骤、参数起点及监控方法，并比较动态合批与固定批处理的差异。
阅读全文 →
请求增多不等于批次越大越好。本文说明动态合批的适用条件、参数起点、压测步骤和常见误区，帮助在吞吐量与尾延迟之间找到合适配置。
阅读全文 →
批处理适合可等待的离线任务，动态合批更适合持续到达的在线请求。本文从时延、吞吐、负载、资源和运维五方面比较，并给出配置步骤与常见问题。
阅读全文 →
多用户图文问答的显存规划不能只看模型权重。应把视觉编码、KV缓存、并发请求和运行时开销纳入预算，并用真实图片与目标并发测出峰值，再留出余量。
阅读全文 →从模型权重、视觉输入、并发缓存到主机侧处理，拆解视觉语言模型在线服务的资源估算方法，并给出可执行的压测步骤。
阅读全文 →
从请求入口、图像处理、模型推理、并发缓存到存储与监控，拆解视觉语言模型在线服务的五类硬件资源，并给出可执行的测量和扩容方法。
阅读全文 →
从模型权重、图像处理、KV缓存和并发入手，拆解视觉语言模型在线服务的计算与内存需求，并给出可执行的估算、测试和扩容步骤。
阅读全文 →
GPU优先承担视觉编码和语言生成，CPU负责请求处理、图像解码与调度。本文从内存、并发、延迟和成本出发，说明如何划分任务并用压测确定配置。
阅读全文 →
从模型压缩、输入优化、推理调度、硬件选型和现场测量五方面入手，降低边缘AI设备的功耗与散热压力，同时保留满足任务需求的响应速度。
阅读全文 →