端侧大模型落地,智能终端芯片迎来新一轮算力升级
过去两年,大模型的能力主要在云端释放。但随着模型压缩、量化与蒸馏技术逐渐成熟,参数量更小、推理成本更低的模型开始进入手机、摄像头与车载设备。
端侧推理的价值很直接:更低的延迟、更好的隐私、以及不依赖网络的可用性。但它同时对芯片提出了更苛刻的要求——在几瓦的功耗预算内,既要跑得动模型,又要保证实时性。
能效比成为第一指标
我们认为,端侧 AI 芯片的竞争焦点已经从峰值算力转向有效算力与能效比。通过面向推理定制的数据通路与片上存储层次,QY-1H 系列在典型视觉模型上的能效比相比上一代提升了近两倍。
未来,端云协同会成为主流形态:云端负责训练与复杂任务,终端负责实时响应,两者通过统一的软件栈无缝衔接。