随着模型压缩与量化技术成熟,越来越多的大模型能力被搬到终端设备上运行,这对芯片的能效比与内存带宽提出了全新要求。
推理负载占比持续上升,云端芯片的设计重心正在从极致的训练吞吐,转向吞吐、延迟与总体拥有成本的平衡。
低时延网络与端侧算力的结合,让制造、交通、零售等行业的实时智能成为可能。
生成式模型让内容生产成本大幅下降,也让内容真实性成为必须正视的工程与治理问题。
统一编程模型让同一个模型可以在终端、边缘与云端芯片之间无缝迁移。
在城市感知场景中,高密度推理卡以更低的功耗支撑起上千路视频的实时分析。