从训练到推理:云端 AI 芯片的架构演进
当模型进入规模化应用阶段,推理所消耗的计算资源将远远超过训练。数据中心里的 AI 芯片,设计目标也随之改变。
训练关注的是吞吐与扩展能力,而推理更在意延迟、成本与利用率。MLU100 智能推理卡在设计之初就把单位功耗推理吞吐作为首要指标,配合稀疏计算与混合精度,在典型业务中可以显著降低机柜功耗。
软硬协同是关键
硬件只是基础。编译器能否把模型高效地映射到芯片、运行时能否做好批处理与调度,往往决定最终的实际性能。这也是我们坚持端云一体软件栈的原因。
当模型进入规模化应用阶段,推理所消耗的计算资源将远远超过训练。数据中心里的 AI 芯片,设计目标也随之改变。
训练关注的是吞吐与扩展能力,而推理更在意延迟、成本与利用率。MLU100 智能推理卡在设计之初就把单位功耗推理吞吐作为首要指标,配合稀疏计算与混合精度,在典型业务中可以显著降低机柜功耗。
硬件只是基础。编译器能否把模型高效地映射到芯片、运行时能否做好批处理与调度,往往决定最终的实际性能。这也是我们坚持端云一体软件栈的原因。