DeepSeek一天能赚多少钱?
当市场以为DeepSeek的开源周内容发布完毕之后,3月1日,DeepSeek宣布了“One More Thing”,突然揭秘V3/R1推理系統,公开了大规模部署成本和收益。时间:3月1日
内容:DeepSeek宣布了其V3/R1推理系统的部署成本和收益情况。
假定条件:GPU租赁成本为2美元/小时。
成本:总成本为87072美元/天。
收入:如果所有tokens按照DeepSeek R1的定价计算,理论上一天的总收入为562027美元/天。
成本利润率:达到545%。
DeepSeek-V3/R1推理系统优化目标
目标:更大的吞吐,更低的延迟。
实现方式:使用大规模跨节点专家并行(Expert Parallelism / EP)。
EP带来的挑战与解决方案
挑战:
增加了系统的复杂性。
引入跨节点的传输。
需要Data Parallelism(DP)和负载均衡。
解决方案:
使用EP增大batch size,隐藏传输耗时。
实现PrefillLoadBalancer和DecodeLoadBalancer进行负载均衡。
线上系统实际统计数据
GPU使用:DeepSeekV3和R1使用H800GPU,与训练一致的精度。
节点占用:
峰值占用:278个节点。
平均占用:226.75个节点(每个节点为8个H800GPU)。
Token处理:
输入token总数:608B。
输出token总数:168B。
平均输出速率:20~22tps。
平均每台H800吞吐量:prefill任务约73.7ktokens/s,decode任务约14.8ktokens/s。
潞晨科技暂停DeepSeek API服务
宣布时间:DeepSeek披露成本和收益之后。
内容:潞晨科技宣布一周后将停止提供DeepSeek API服务,并承诺全额退款剩余余额。
背景:
DeepSeek-R1系列模型因其性能和低成本受到关注。
潞晨科技与昇腾联合发布基于昇腾算力的DeepSeek-R1系列推理API。
CEO回应:潞晨科技CEO尤洋指出,虽然DeepSeek理论上收入高,但服务成本更高,企业可能面临巨额亏损。
潞晨科技简介
主营业务:分布式软件系统,大规模人工智能平台,企业级云计算解决方案。
目标:打造开源低成本AI大模型开发系统Colossal-AI,最大化训练效率,最小化训练成本。
谢谢分享,学习了。 泉府上士 发表于 2025-3-2 11:45
谢谢分享,学习了。
谢谢关注 不好意思,我没有权限添加好友
页:
[1]