新闻中心 / DETAIL

从训练到推理:云端 AI 芯片的架构演进

推理负载正在重塑数据中心的计算架构

从训练到推理:云端 AI 芯片的架构演进

发布时间 2026-10-16  ·  来源 启曜智芯  ·  作者 编辑部  ·  浏览 974

从训练到推理:云端 AI 芯片的架构演进

当模型进入规模化应用阶段,推理所消耗的计算资源将远远超过训练。数据中心里的 AI 芯片,设计目标也随之改变。

训练关注的是吞吐与扩展能力,而推理更在意延迟、成本与利用率。MLU100 智能推理卡在设计之初就把单位功耗推理吞吐作为首要指标,配合稀疏计算与混合精度,在典型业务中可以显著降低机柜功耗。

软硬协同是关键

硬件只是基础。编译器能否把模型高效地映射到芯片、运行时能否做好批处理与调度,往往决定最终的实际性能。这也是我们坚持端云一体软件栈的原因。

↑