新闻中心 / DETAIL

端侧大模型落地,智能终端芯片迎来新一轮算力升级

随着模型压缩与量化技术成熟,端侧推理正在成为新的战场

端侧大模型落地,智能终端芯片迎来新一轮算力升级

发布时间 2026-10-28  ·  来源 启曜智芯  ·  作者 编辑部  ·  浏览 1288

端侧大模型落地,智能终端芯片迎来新一轮算力升级

过去两年,大模型的能力主要在云端释放。但随着模型压缩、量化与蒸馏技术逐渐成熟,参数量更小、推理成本更低的模型开始进入手机、摄像头与车载设备。

端侧推理的价值很直接:更低的延迟、更好的隐私、以及不依赖网络的可用性。但它同时对芯片提出了更苛刻的要求——在几瓦的功耗预算内,既要跑得动模型,又要保证实时性。

能效比成为第一指标

我们认为,端侧 AI 芯片的竞争焦点已经从峰值算力转向有效算力与能效比。通过面向推理定制的数据通路与片上存储层次,QY-1H 系列在典型视觉模型上的能效比相比上一代提升了近两倍。

未来,端云协同会成为主流形态:云端负责训练与复杂任务,终端负责实时响应,两者通过统一的软件栈无缝衔接。

↑