DEXUN GPU NEWS
资讯中心
汇集 GPU 选型、模型训练、推理部署与高性能计算资讯。
模型量化并非只省显存，部署前还需核对带宽与兼容性
量化能降低模型权重的存储需求，但部署效果还取决于显存带宽、并发与上下文长度、推理引擎支持及精度表现。本文提供从硬件盘点到实测验收的检查步骤。
阅读全文 →
量化模型上线前，显存与内存不足会带来哪些风险？
量化能减少模型权重占用，却不能消除推理运行时、KV cache、并发请求和系统进程带来的资源压力。上线前应分别核算显存与内存，并用目标上下文长度和并发量做峰值测试，避免加载失败、延迟飙升或服务中断。
阅读全文 →
选大模型高可用方案别只看冗余硬件，还要核算运维成本
大模型服务的高可用不等于多备几台GPU服务器。本文从故障范围、切换方式、容量预留、模型状态和日常运维成本出发，说明如何选择适合自身负载的方案，并给出可执行的验证步骤。
阅读全文 →
大模型故障切换怎样减少请求丢失？把会话状态纳入设计
大模型服务发生故障时，单纯切换计算节点无法找回尚未保存的对话进度。本文说明如何保存会话检查点、识别重复请求、处理流式输出，并按业务容忍度选择状态存储与重试策略。
阅读全文 →
大模型服务器高可用有哪4种架构？从成本与切换速度比较
大模型服务器可采用单机进程拉起、同城主备、同城双活和跨地域灾备四种架构。本文比较它们的硬件投入、故障切换速度与适用条件，并说明模型加载、请求状态和切换验证的关键事项。
阅读全文 →
大模型服务该用单机备份还是双节点切换？先看业务规模
单机备份投入较低，但恢复依赖人工或重新启动；双节点切换能缩短中断时间，却需要额外算力、健康检查和状态管理。选择时应先量化可接受停机时间、并发负载与恢复目标，并保留独立备份。
阅读全文 →
GPU渲染任务只按队列顺序分发就稳妥吗？还要看显存与耗时
按提交顺序派发有利于理解和管理，但无法保证设备适配、显存安全与整体效率。本文介绍如何结合任务需求、显存余量、预计耗时和设备能力安排渲染，并给出可执行的分发流程。
阅读全文 →