Hoe en waarom microcontrollers kunnen helpen de toegang tot edge AI te decentraliseren

In de afgelopen jaren is edge AI steeds populairder geworden. De edge AI-wereldmarkt zal naar verwachting tot 2035 groeien met een samengesteld jaarlijks percentage van 27,8%, oplopend tot een nettowaarde van $ 356,84 miljard.

Er zijn verschillende factoren die deze vraag doen stijgen. Gegevensverwerking aan de edge lost mogelijke beveiligingsproblemen op over het gebruik van de cloud voor gevoelige of bedrijfseigen informatie. Edge-verwerking verlaagt ook de latentie, wat van belang kan zijn in real-time toepassingen waar beslissingen in een fractie van een seconde moeten worden genomen. Industriële IoT-apparaten (IIoT) leveren datagestuurde bewerkingen, die op hun beurt de gebruiksscenario's voor edge AI vergroten. Snel groeiende implementaties—van draagbare medische hulpmiddelen tot wearables en IIoT—stimuleren de markt voor edge AI.

Naarmate de technologie steeds populairder wordt, is er een groeiende vraag naar componenten die kunnen voldoen aan de gegevensverwerkingsbehoeften in embedded systemen.

De keuzes voor computerverwerking: microcontrollers of microprocessors

De overgrote meerderheid van IoT-apparaten die tegenwoordig worden ingezet in industriële en andere embedded apparatuur zijn apparaten met een laag stroomverbruik en zeer weinig geheugen. De verwerkingskracht die ze hebben, komt van kleine embedded microcontrollers (MCU's). Deze MCU's hebben energiezuinige architecturen waardoor de embedded systemen veel kosteneffectiever kunnen zijn dan met microprocessors.

Tot de komst van edge AI voldeden MCU's goed aan de verwerkingsbehoeften van IoT-apparaten. Maar traditionele MCU's kunnen meestal niet de rekenkracht leveren die nodig is voor complexere machine learning-algoritmen die edge AI-toepassingen kenmerken. Dergelijke algoritmen worden doorgaans uitgevoerd op grafische verwerkingseenheden (GPU's) en microprocessors die meer rekenkracht hebben. Het gebruik van deze componenten heeft echter ook nadelen, waaronder de hoeveelheid verbruikte stroom. Microprocessors of GPU's zijn niet de meest energie-efficiënte oplossingen. Als gevolg hiervan is microprocessorgestuurde edge computing misschien niet de beste oplossing voor alle edge AI-toepassingen, en kiezen leveranciers ervoor om in plaats daarvan te vertrouwen op MCU's.

Standalone MCU's zijn goedkoper dan GPU's en microprocessors. Om edge AI op te schalen, is er een groeiende behoefte om de voordelen van MCU's—lage kosten en een laag stroomverbruik—te benutten en tegelijkertijd de rekenkracht te vergroten.

In de loop der jaren zijn er inderdaad een paar factoren samengekomen om de mogelijkheden van MCU's aan de edge te vergroten.

Hoe gebruik van MCU's aan de edge kan worden gerealiseerd

Hoewel de algemene veronderstelling is dat de traditionele MCU te licht is voor AI-gerelateerde gegevensverwerking, stimuleren veranderingen in zowel het ontwerp van de MCU als in het bredere technologie-ecosysteem de acceptatie ervan in edge AI-gebruiksscenario's.

Deze factoren zijn onder meer:

• De integratie van AI-versnellers in MCU's: wanneer de MCU zelf moeite heeft om aan de eisen van edge computing te voldoen, verbetert de integratie met een AI/ML-versneller zoals neurale verwerkingseenheden (NPU's) of digitale signaalprocessors (DSP's) de prestaties.

  De CPU's uit de STM32N6-serie (afbeelding 1) van STMicroelectronics zijn bijvoorbeeld gebaseerd op de Arm Cortex-M55 die op 800 MHz draait. De Arm Helium-vectorverwerkingstechnologie biedt DSP-verwerkingsmogelijkheden in een standaard CPU. De STM32N6 is de eerste STM32 MCU die de ST Neural-ART Accelerator integreert, een intern ontwikkelde NPU die is ontworpen voor krachtige edge AI-toepassingen.

Afbeelding 1: De STM32N6 is de eerste STM32 MCU die de ST Neural-ART Accelerator integreert, een in-house ontwikkelde neurale verwerkingseenheid (NPU) die is ontworpen voor energiezuinige edge AI-toepassingen. (Bron afbeelding: STMicroelectronics)

• Geoptimaliseerde AI-modellen voor de edge: zware AI- en Machine Learning-algoritmen kunnen niet zomaar worden overgedragen naar MCU's. Ze moeten worden geoptimaliseerd voor beperkte computerbronnen. Compacte AI-architecturen zoals TinyML en MobileNet doen precies dat, samen met optimalisatietechnieken, waardoor zelfs MCU's aan de edge AI-algoritmen kunnen uitvoeren. STMicroelectronics heeft STM32Cube.AI geïntroduceerd, een softwareoplossing die een neuraal netwerk omzet in geoptimaliseerde C-code voor STM32 MCU's. Door de oplossing te gebruiken in combinatie met de STM32N6 kunnen de prestaties worden gegarandeerd die nodig zijn voor edge AI-toepassingen, ondanks verwerkings- en geheugenbeperkingen.

• De opkomst van AI-ecosystemen: het is niet voldoende om alleen een hardwarecomponent te hebben die in staat is tot AI-gerelateerde verwerking aan de edge. Het uitvoeren van AI-algoritmen aan de edge vereist ontwikkelaarsvriendelijke ecosystemen die AI-implementaties eenvoudiger maken. Specifieke tools zoals TensorFlow Lite voor microcontrollers helpen bij het leveren van dergelijke oplossingen. Open-source communities zoals Hugging Face en andere platforms bieden vooraf getrainde modellen en codebibliotheken die door ontwikkelaars kunnen worden getest en aangepast voor hun specifieke gebruiksscenario's. Dergelijke AI-ecosystemen verlagen de barrière voor de acceptatie van de technologie en decentraliseren de toegang, zelfs voor bedrijven met beperkte middelen die mogelijk niet in staat zijn om eigen AI-modellen vanaf nul te ontwikkelen.

  STMicroelectronics heeft een specifiek op maat gemaakt hardware- en software-ecosysteem, de ST Edge AI Suite, voor geoptimaliseerde edge AI-oplossingen. De suite consolideert veel van de AI-bibliotheken en tools van ST om het voor ontwikkelaars gemakkelijker te maken om modellen, gegevensbronnen, tools en compilers te vinden die code voor de microcontroller kunnen genereren.

  Vooraf getrainde modellen in een model zoo bieden een startpunt voor ontwikkelaars. Deze modellen maken gebruik van het Open Neural Network Exchange (ONNX)-formaat, een open standaard om machine learning-modellen weer te geven op gebieden zoals computervisie (CV), natuurlijke taalverwerking (NLP), generatieve AI (GenAI) en machine learning in grafieken.

• Codes voor standaardisatie en interoperabiliteit: hoewel AI-ecosystemen bedrijven hebben geholpen bij het testen van edge AI-gebruiksscenario's, hebben open en gestandaardiseerde modelformaten bijgedragen aan een naadloze integratie tussen hardwaresystemen. Compatibiliteit tussen softwaretools en MCU's heeft geholpen de obstakels voor edge AI-implementaties te verminderen.
• Aandacht voor beveiliging aan de edge: terwijl MCU's de noodzaak van cloudverwerking van gegevens elimineren, of op zijn minst verminderen, bieden de hardwarecomponenten extra beveiligingslagen. Ze bevatten meestal functies zoals hardwareversleuteling en beveiligd opstarten, die zowel gegevens als AI-modellen beschermen tegen kwaadwillende actoren.

Opmerkelijke kenmerken van de STM32N6-hardware

De STM32N6-serie bevat een krachtige MCU met een NPU, een cameramodulebundel en een discovery kit. De serie maakt gebruik van een typische ARM Cortex-M-architectuur en heeft verschillende belangrijke kenmerken die deze apparaten geschikt maken voor AI aan de edge. Dit zijn:

• Neural ART Accelerator, die neurale netwerkmodellen kan uitvoeren. Het is geoptimaliseerd voor intensieve AI-algoritmen, geklokt op 1 GHz en biedt 600 GOPS met een gemiddelde energie-efficiëntie van 3 TOPS/W.
• Ondersteuning voor "Helium" M-profile Vector Extension (MPVE) instructies, een set ARM-instructies die krachtige neurale netwerk- en DSP-functies mogelijk maken. Deze instructies zijn bijvoorbeeld ontworpen voor 16-bits en 32-bits floating point-getallen, waardoor ze efficiënt kunnen worden gemanipuleerd met getallen met lage precisie. Deze zijn belangrijk voor het verwerken van ML-modellen.
• ST Edge AI Suite, een opslagplaats van gratis softwaretools, gebruiksscenario's en documentatie die ontwikkelaars van alle ervaringsniveaus helpt bij het creëren van AI voor de intelligente edge. De suite bevat ook tools zoals de ST Edge AI Developer Cloud, met speciale neurale netwerken in de STM32-model zoo, een board farm voor real-world benchmarking en meer.
• Bijna 300 configureerbare multiply-accumulate units en twee 64-bits AXI-geheugenbussen voor een doorvoer van 600 GOPS.
• Ingebouwde speciale beeldsignaalprocessor (ISP), die rechtstreeks kan communiceren met meerdere 5megapixel-camera's. Voor het bouwen van systemen die camera's bevatten, moeten ontwikkelaars de ISP afstemmen op een bepaalde CMOS-camerasensor en de bijbehorende lens. Tuning vereist meestal gespecialiseerde expertise of hulp van derden. ST biedt ontwikkelaars hiervoor speciale desktopsoftware: iQTune. Deze software, die op een Linux-werkstation draait, communiceert met ingesloten code op de STM32 en analyseert kleurnauwkeurigheid, beeldkwaliteit en statistieken. De software configureert ook de registers van de ISP op de juiste manier.
• Ondersteuning voor MIPI CSI-2, de meest populaire camera-interface op mobiele applicaties, zonder dat er een externe ISP nodig is die compatibel is met deze specifieke seriële camera-interface.
• Veel extra mogelijkheden op een enkel apparaat betekenen dat ontwikkelaars nu een neuraal netwerk kunnen uitvoeren in combinatie met een GUI, zonder meerdere MCU's te hoeven gebruiken.
• Robuuste beveiliging, inclusief Target SESIP Level 3- en PSA Level 3-certificeringen.

Conclusie

Machine Learning-toepassingen die aan de edge draaien, hadden vroeger zware microprocessors in embedded systemen nodig voor het uitvoeren van complexe algoritmen. Dankzij krachtige MCU's zoals de CPU's uit de STM33N6-serie van STMicroelectronics zijn bedrijven nu in staat om AI aan de edge te decentraliseren. STMicroelectronics levert een volledig ecosysteem voor AI-implementatie aan de edge, inclusief de software- en hardwarecomponenten voor deductie.