中泰证券：推理是未来AI算力的核心，CPU将迎来价值重估

md_5786

中泰证券：推理是未来AI算力的核心，CPU将迎来价值重估

　　算力结构转型正从以训练为主转向以推理为核心——当前70%以上算力用于集中式训练，未来70%以上算力将用于分布式推理，推理需求规模有望达到训练阶段的5-10倍。训练与推理的底层差异决定CPU在训练场景是“辅助”，在推理场景可以成为"主力“——1）基于Little's Law（吞吐=并发数/延迟），CPU和GPU选择了”压低延迟“和”堆高并发的不同路线。2）训练以大规模稠密矩阵运算为主，大部分时间GPU在计算，CPU仅承担数据搬运+集群调度，时间占比10-30%；推理具有碎片化、长尾化、延迟敏感特点，CPU在Decode、稀疏计算、长上下文管理、Embedding等多个任务中更具竞争力，可完成70%以上运行负载。