恋恋不舍不舍 发表于 2024-12-19 13:31

】豆包展望27年百万亿日均token消耗,背后的算力需求怎么看?

【华福电子大科技陈海进】豆包展望27年百万亿日均token消耗,背后的算力需求怎么看?
豆包大模型发布以来,token使用量快速增长。截止目前日均token使用量超4万亿,发布以来增长超33倍。而字节对于未来的展望更为乐观,公司曾表示,综合考虑算力资源、市场用量、模型成本等因素,判断2027年豆包日均Token消耗量会超过100万亿。
如果以GPT-4的参数量计算,日均100万亿tokens对应的推理算力需求等于56万亿TFLOPS,平均每秒所需算力约为6.48亿TFLOPS,如果以FP16算力口径,考虑相应的算力利用率进行测算,将对应约96万张H100级别GPU。
AI应用逐步发展推动算力需求快速扩张,算力集群作为重要的基础设施,数十万卡以上大规模算力集群建设将为数据中心产业链上下游企业进一步打开需求空间,建议关注字节跳动算力产业链。
相关公司:
芯片:寒武纪、海光信息、盛科通信
液冷:英维克、高澜股份、申菱环境、网宿科技
光模块:光迅科技、中际旭创、华工科技、博创科技
服务器&交换机:浪潮信息、锐捷网络、紫光股份
服务器电源:欧陆通、麦格米特
风险提示:技术、供应、需求、竞争风险等

王运成 发表于 2024-12-20 09:09

感谢提供信息分享。
页: [1]
查看完整版本: 】豆包展望27年百万亿日均token消耗,背后的算力需求怎么看?