找回密码
 立即注册

QQ登录

只需一步,快速开始

广告载入中...
查看: 164|回复: 1

】豆包展望27年百万亿日均token消耗,背后的算力需求怎么看?

[复制链接]
发表于 2024-12-19 13:31 | 显示全部楼层 |阅读模式

马上注册,享用更多功能,让你轻松玩转本论坛。

您需要 登录 才可以下载或查看,没有账号?立即注册

×
【华福电子大科技陈海进】豆包展望27年百万亿日均token消耗,背后的算力需求怎么看?
豆包大模型发布以来,token使用量快速增长。截止目前日均token使用量超4万亿,发布以来增长超33倍。而字节对于未来的展望更为乐观,公司曾表示,综合考虑算力资源、市场用量、模型成本等因素,判断2027年豆包日均Token消耗量会超过100万亿。
如果以GPT-4的参数量计算,日均100万亿tokens对应的推理算力需求等于56万亿TFLOPS,平均每秒所需算力约为6.48亿TFLOPS,如果以FP16算力口径,考虑相应的算力利用率进行测算,将对应约96万张H100级别GPU。
AI应用逐步发展推动算力需求快速扩张,算力集群作为重要的基础设施,数十万卡以上大规模算力集群建设将为数据中心产业链上下游企业进一步打开需求空间,建议关注字节跳动算力产业链。
相关公司:
芯片:寒武纪、海光信息、盛科通信
液冷:英维克、高澜股份、申菱环境、网宿科技
光模块:光迅科技、中际旭创、华工科技、博创科技
服务器&交换机:浪潮信息、锐捷网络、紫光股份
服务器电源:欧陆通、麦格米特
风险提示:技术、供应、需求、竞争风险等

发表于 2024-12-20 09:09 | 显示全部楼层
感谢提供信息分享。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表