众衫小 发表于 2025-2-25 12:19

DeepSeek开源第一个用于混合专家模型训练和推理的高效专家并行通信库

财联社2月25日电，DeepSeek在“开源周”的第二天向公众开源了DeepEP。据介绍，DeepEP是第一个用于MoE（混合专家）模型训练和推理的EP（Expert Parallelism，专家并行）通信库，可以实现高效且优化的全对全通信，支持包括FP8在内的低精度运算，适配现代高性能计算需求。同时，DeepEP针对NVLink到RDMA的非对称带宽转发场景进行了深度优化，不仅提供了高吞吐量，还支持SM（Streaming Multiprocessors）数量控制，兼顾训练和推理任务的高吞吐量表现。对于延迟敏感的推理解码场景，DeepEP还提供了纯RDMA的低延迟内核，支持自适应路由，能实现更灵活的GPU资源控制，满足不同场景需求。

王运成 发表于 2025-2-25 13:32

感谢提供信息分享。

大老郭 发表于 2025-2-25 14:00

好好学习天天向上

泉府上士 发表于 2025-2-25 20:13

谢谢分享，学习了。

璀璨红心 发表于 2025-2-26 11:19

DeepSeek开源第一个用于混合专家模型训练和推理的高效专家并行通信库
页: [1]
查看完整版本: DeepSeek开源第一个用于混合专家模型训练和推理的高效专家并行通信库