意法半导体：聚焦工业4.0以及先进边缘人工智能

数字化转型席卷全球，它推动企业提高生产效率、改善医疗服务质量，加强楼宇、公用设施和交通网络的安全和能源管理。数字化的核心赋能技术包括云计算、数据分析、人工智能 (AI) 和物联网 (IoT)。数字化一个重要的趋势是把更多工作任务下沉到通常部署在物联网边缘的智能设备上，这对设备提出了响应更快、能效更高的要求。边缘侧的智能设备应用重点集中在几个领域，比如工业及工厂自动化、泛智能家居应用，以及包括智能交通、智能电网等的智慧城市和基础设施应用。不同领域会有不同的边缘智能处理需求，意法半导体根据任务需求的区别可以为客户提供MCU 和MPU 不同的解决方案，微处理器(MPU)系统通常更加复杂，处理性能、系统扩展性和数据安全性更高，而微控制器(MCU) 系统的优势是简单和集成度高。

在技术演进过程中，AI逐渐成熟并被广泛应用到各个领域， AI最终目的就是速度更快在大的数据模型里面迅速找到想要的答案，边缘AI则是希望能够更高效的在边缘端实现部分数据库搜索和算法以更快速获取所需的答案。相比于现在爆火的大模型，边缘AI的目的就是把大的数据模型经过不断地细分，然后下沉到边缘端来做运算，有几十个或上千个边缘端来完成一个大的任务。这种大的数据模型经过客户不断地细分，再分到某几个点上时可以通过一个边缘AI 来完成原来需要服务器才能完成的任务。举例来说，原来一条产线上有多个机器视觉、目标识别的设备，通过一个大算力的X86或者几个X86再加上一个GPU的平台来把这个任务完成。现在通过一些下沉的方式可以有十几个、二十几个边缘 AI的小设备来分担多个任务，比如专门识别缺陷或专门做目标分类的一些应用，而达到原来需要一个大服务器来完成的任务。在减少书传输过程的同时，实现了降低功耗、降低成本的目的。

ST把高性能的MPU里面集成了NPU的目的就是要将AI任务下沉或分解到本地的边缘AI 上，这样不仅AI部署的成本更低、应用更灵活、速度和整个系统集成方式更快，因为边缘AI 的工作更单一所以效率会更高。边缘嵌入式MPU中集成多个NPU处理单元将是未来嵌入式运算的趋势。这种趋势得益于异构计算架构能够让客户的AI应用更灵活，比如在大的数据处理上可以通过一个高算力核来做，在实时性的信号采集和监控上可以通过一个实时的MCU核来做，这种异构方式让一颗 MPU可以同时满足实时处理又带来高算力能力。

意法半导体的新一代STM32MP2微处理器（MPU）将为构建这个不断发展的数字世界的新一代设备提供动力。这些设备包括工业控制器和机器视觉系统、扫描仪、医疗可穿戴设备、数据聚合器、网关、智能家电以及工业和家庭机器人等。STM32MP2是意法半导体面向边缘AI应用的重点产品，主要的应用方向包括了工业及工厂自动化、泛智能家居领域，智能网关、家居网关之类以及智慧城市系列的智慧交通、智慧基础设施等等。STM32MP2系列产品内置一个1.35tops NPU来处理AI的算法，但是AI生态系统不仅仅可以跑在NPU上，也可以跑在CPU和GPU上面。STM32MP2 MPUs为要求苛刻且时间敏感的工作任务、人工智能推理和通信而专门设计，同时具有先进的网络安全性。作为一款真正的异构处理引擎，在64 位Arm Cortex-A35 CPU主处理器之外还集成一颗Cortex-M33微控制器(MCU)，此外还配备了图形处理器(GPU)、神经网络处理器(NPU)和视频处理器(VPU)。根据处理器的负载情况和应用需求，AI任务可以运行在CPU、GPU或NPU上，以实现最佳性能和能效，释放应用潜力。在AI 执行引擎方面，首选NPU执行AI应用，如果算力需求更高，那么可以把CPU与CPU同时运用起来，提升边缘侧计算能力，识别速度会更快。STM32MP2能效很高，系统中无需设计主动散热机制，从而带来更小的尺寸、静音运行、更高的可靠性和更低的功耗等优势。ST 微处理器与Yocto Linux的无缝集成简化了的开发过程，降低了产品创新的难度。

那么在AI算力上，如何让NPU、GPU、CPU同时加持AI或边缘算力的算法，根据意法半导体不同的分布式采取的方式，可以让任务部署到不同单元上面进行算力有效调配。在低功耗和功耗平衡上考虑，第一选择1.35 TOPS的NPU单元，NPU在激活时会消耗功率，但它是为能效而设计的，消耗的功率明显低于执行相同AI模型的CPU。第二选择Cortex-A35内核 这两个就是出于功耗与性能平衡之间的选择。在NPU上全速跑某一个算法, NPU可能会出现一些功率峰值，但SOC消耗的能量将比仅由CPU执行任务时消耗的能量少得多。在NPU上跑好处之一是让CPU完全可以空闲下来做其他任务，不做其他任务可以休眠。这种方式的整体功耗是偏低的。

边缘侧AI应用部署和云端略有不同，首先要有数据模型进行数据模拟训练，意法半导体不仅支持工程师使用自己的数据模型，还可为开发者提供面向应用的优化模型库，用户可以选择其中的一个模型来建立边缘AI计算的能力。为了服务MPU的边缘侧应用，意法半导体还提供离线编译器支持桌面或云端的模型优化、量化和转换应用，确保用户可以在本地主机完成相关任务操作。STM32 模型库提供了4 类模型，第一类是运动姿势估算，第二类是图像分类，语义分割、物体检测等等。

这里所有模型ST均免费提供给工程师来使用的，这些模型ST托管在GitHub上，客户可以通过自己的任何一个应用抓取任何一个模型，训练自己的代码，验证自己的应用和这个模型选择是否适合你的AI边缘应用。物联网硬件安全是开发者在开发可信设备时追求的永恒目标。难点在于为MCU 嵌入式硬件带来高安全性，实现MPU级别的处理性能，同时保证出色的成本效益，这三个标准在市场上通常无法同时满足。在采用这些新的STM32H7 MCU后，设备厂商可以更快、更经济地开发智能家电、智能楼宇控制器、工业自动化和个人医疗设备，满足终端市场用户日益增长的需求。具体用例包括增加更丰富多彩的图形用户界面，同时执行多个不同的功能。这些设计往往需要用微处理器(MPU) 才能实现。

STM32H7R和STM32H7S两款微控制器集成了其NeoChrom GPU图形处理器，能够实现MPU 级别的图形用户界面(GUI)，具有丰富的色彩，支持动画播放和3D图效。这两款MCU 还集成了显示控制器，能够处理绚丽的高清彩色用户界面，在过去，小小的微控制器很难胜任这个工作。运行图形用户界面仅占用大约10%的主CPU性能，因此，目标应用能够提供媲美智能手机的用户体验，同时还能运行边缘人工智能、通信和实时控制等要求苛刻的应用程序。不过，H7R 的GPU 是2.5D的，只能跑图形显示的东西，这个系列的AI只能跑在MCU的处理内核上。