在感受了ChatGPT和文生视频模型Sora接连带来震撼之后，所有人都会好奇，生成式AI与普通人的生活有什么关系？

手机厂商已经展示了生成式AI带来的全新体验，比如小米14系列的图像扩充，OPPO Find X7 Ultra的一键AI路人消除，荣耀Magic6的智慧成片和智慧创建日程。

如果说云端的生成式AI展示了AI的强大，那端侧AI的普及就是激发生成式AI创新的动力。

想要在端侧普及生成式AI，需要先解决算力、内存和生态三大难题。

异构计算和NPU解决算力瓶颈 

生成式AI模型参数量大，算力是一个核心限制因素。

但大算力往往意味着高能耗，对于使用电池供电的AI手机和AI PC，想要兼顾高性能和低功耗，异构架构的价值十分明显。

异构架构，就是一个处理器当中包含多种不同类型的处理单元。

手机SoC就是典型的异构架构，包含擅长顺序控制，适用于需要低时延的应用场景的CPU；擅长高精度格式图像和视频并行处理的GPU；还有擅长标量、向量和张量数学运算，可用于核心AI工作负载的NPU。

异构计算的优势在于，可以根据应用的类型调用合适的处理器以达到最佳的能耗比，比如用GPU来完成重负荷游戏，用CPU执行多网页浏览，用NPU提升AI体验。

对于生成式AI，异构计算的优势更加明显，因为生成式AI有多种用例，比如只需要短暂运行的按需型用例；需要长时间运行的持续型用例，如AI视频处理；以及始终开启的泛在型用例，如PC需要持续监测用户的设备使用情况，不同的用例对处理器的需求不同。

以在高通骁龙平台上实现虚拟AI助手与用户语音互动交流来解释异构计算的重要性。

• 用于给虚拟AI助手下达指令，需要通过自动语音识别（ASR）模型转化为文本，这一步主要在高通传感器中枢运行。

• 然后需要通过Llama 2或百川大语言模型生成文本回复，这一模型在Hexagon NPU上运行

• 接下来要通过开源TTS（Text to Speech）模型将文本转为语音，这一过程需要CPU。

• 输出语音的同时，需要使用融合变形动画（Blendshape）技术让语音与虚拟化身的嘴型匹配，实现音话同步。此后，通过虚幻引擎MetaHuman进行虚拟化身渲染，渲染工作在Adreno GPU上完成。

• 最终通过协同使用高通AI引擎上所有的多样化处理模块，实现出色的交互体验。

高通自2015年推出第一代AI引擎，就采用的异构计算的架构，包含Kryo CPU、Adreno GPU、Hexagon DSP，这是高通保持在端侧AI领域领先的关键。

异构计算对于生成式AI的普及非常重要，其中的NPU又是关键。

比如在持续型用例中，需要以低功耗实现持续稳定的高峰值性能，NPU可以发挥其最大优势。在基于LLM和大视觉模型（LVM）的不同用例，例如Stable Diffusion或其他扩散模型中，NPU的每瓦特性能表现十分出色。

“高通NPU的差异化优势在于系统级解决方案、定制设计和快速创新。通过定制设计NPU并控制指令集架构(ISA)，高通能够快速进行设计演进和扩展，以解决瓶颈问题并优化性能。”高通技术公司产品管理高级副总裁 Ziad Asghar表示。