DeepSeek开源第六天，DeepSeek-V3/R1 推理系统概述。

DeepSeek开源第六天，DeepSeek-V3/R1 推理系统概述插图

通过以下方式优化吞吐量和延迟：跨节点 EP 驱动的批量扩展，，计算与通信重叠，负载平衡。

DeepSeek 在线服务统计：每个 H800 节点每秒有 73.7k/14.8k 个输入/输出令牌，成本利润率 545%

详细：https://github.com/deepseek-ai/open-infra-index/blob/main/202502OpenSourceWeek/day_6_one_more_thing_deepseekV3R1_inference_system_overview.md



微信扫描下方的二维码阅读本文

DeepSeek开源第六天，DeepSeek-V3/R1 推理系统概述插图1

声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。