Beschleunigte Edge-KI-Inferenz mit Hilfe der Vitis-AI-NPU auf den Versal-AI-Edge-Boards von iWave

Künstliche Intelligenz (KI) für den Netzwerkrand (Edge) verändert die Art und Weise, wie eingebettete Systeme Echtzeitdaten verarbeiten und auf sie reagieren, rapide. Um diese wachsende Nachfrage nach Intelligenz am Netzwerkrand zu befriedigen, hat iWave Global die Vitis-AI-NPU (Neural Processing Unit) erfolgreich in das SoM (System on Module) Versal™ AI Edge VE2302 und dessen Evaluierungsplattform integriert.

Diese Integration zeigt das Engagement von iWave, Entwicklern leistungsstarke, energieeffiziente und extrem latenzarme KI-Inferenzlösungen zur Verfügung zu stellen. Die Plattform basiert auf dem SoM iW-RainboW-G57D und beschleunigt komplexe KI-Workloads wie die Objekterkennung in Echtzeit, indem sie Edge-Intelligenz näher am Ort der Datenerzeugung bereitstellt.

Vitis AI: FPGA-Beschleunigung für KI-Workloads

Vitis AI ist AMDs einheitlicher KI-Software-Stack, der für FPGA-basierte Hardware-Plattformen, einschließlich der Versal-Adaptive-SoCs, entwickelt wurde. Es ermöglicht die nahtlose Migration von KI-Modellen, die für GPUs trainiert wurden, auf FPGA-Architekturen ohne größere Nacharbeiten.

Vitis AI unterstützt gängige Deep-Learning-Frameworks wie TensorFlow, PyTorch, ONNX und Caffe und ermöglicht es Entwicklern, trainierte neuronale Netze effizient auf Hardware einzusetzen, die für Parallelität und geringen Stromverbrauch optimiert ist.

Das Ergebnis ist eine KI-Beschleunigungspipeline, die die Flexibilität von FPGAs mit der Leistung spezialisierter neuronaler Beschleuniger verbindet - ideal für latenzkritische Edge-Anwendungen.

Systemübersicht und Demo-Setup

Die Live-Demonstration der Vitis-AI-NPU auf dem VE2302-Versal-AI-Edge-Evaluierungskit von iWave zeigt die Möglichkeiten der Objekterkennung in Echtzeit.

Demo-Komponenten:

• VE2302-Versal-AI-Edge-Evaluierungskit von iWave
• HDMI-Anzeige
• USB-Webcam für Live-Videoeingabe
• 12V/5A-Netzteil und Debug-Kabel

Datenflussprozess für KI-Inferenz

Der KI-Inferenz-Workflow auf dem iW-RainboW-G57D nutzt die API-Module VART X und ist für die Echtzeitverarbeitung strukturiert. Es wird ein Skript erstellt, um die NPU-Anwendung auf dem SoM auszuführen. Dieses Skript nimmt Videos mit der USB-Kamera auf und konvertiert sie in das NV12-Format. Das konvertierte Video wird dann von der NPU verarbeitet und die erkannten Objekte werden auf dem HDMI-Display hervorgehoben.

Der Datenfluss läuft wie folgt ab:

Live-Demo in Aktion

Erleben Sie Objekterkennung in Echtzeit auf dem Versal-AI-Edge-SoM VE2302! Sehen Sie sich die Demo an, in der iWave-Experten die KI-Inferenz mit NPU-IP für eine präzise und effiziente Objekterkennung präsentieren.

Warum Versal AI Edge für Edge-KI?

Die Familie Versal AI Edge von AMD kombiniert programmierbare Logik, KI-Engines und ein heterogenes Verarbeitungssystem in einem einzigen Chip. Diese Architektur ermöglicht Sensorfusion, Bildanalyse und KI-Inferenz auf einer einzigen Plattform, wobei die deterministische Echtzeitsteuerung erhalten bleibt.

Die Höhepunkte beinhalten:

• KI-Engines und DSP-Engines für Bildverarbeitung, Radar und LiDAR-Workloads
• Native MIPI-Unterstützung für eine Auflösung von bis zu 8 MP
• Unterstützung für einfache und halbpräzise Fließkommazahlen für verschiedene KI- und Signalverarbeitungsaufgaben

Die Kombination von KI-Rechnern mit programmierbarer Logik bietet eine skalierbare Grundlage für eine breite Palette von KI-Edge-Anwendungsfällen - von der Robotik bis zur industriellen Automatisierung.

Merkmale des SoMs (System on Module) Versal AI Edge von iWave

• Kompatibel mit den Komponenten VE2302 / VE2202 / VE2102 / VE2002
• Dual-Core-Arm-Cortex-A72- und -Cortex-R5F-Prozessoren
• Bis zu 328K Logikzellen und 150K LUTs (Lookup-Tabellen)
• Acht GTYP-Transceiver für 32 Gbit/s
• Bis zu 8 GB LPDDR4 RAM und 128 GB eMMC-Speicher
• Zwei 240-polige Highspeed-Anschlüsse für Erweiterungen
• Vernetzung: PCIe Gen4, Ethernet, USB 3.0

Das kompakte und dennoch robuste SoM unterstützt 40G-Ethernet, MIPI-Kameraschnittstellen und 122 konfigurierbare I/O und gewährleistet eine nahtlose Integration in Edge-KI-Systeme, die Highspeed-Datenbewegungen und Echtzeit-Inferenz erfordern.

Anwendungen in der realen Welt

Die Vitis AI NPU auf dem SoM Versal AI Edge von iWave erschließt neue Möglichkeiten in einem breiten Spektrum von Branchen:

• Intelligente Überwachung: Objekt- und Gesichtserkennung in Echtzeit
• Automotive und ADAS: Highspeed-Erkennung für Verkehrszeichen und Fußgänger
• Industrielle Automatisierung: On-Device-Analytik für Fehlererkennung und vorausschauende Wartung
• Gesundheitswesen: KI-gesteuerte diagnostische Bildgebung und Patientenüberwachung
• Intelligenter Einzelhandel: Automatisierter Checkout und Kundenanalyse
• Intelligente Städte: Adaptives Verkehrsmanagement mit Live-Videoanalyse

Die Lösung verbindet KI-Verarbeitung mit hohem Durchsatz und Energieeffizienz und bietet präzise Echtzeitleistung in Umgebungen, in denen Millisekunden zählen.

Unterstützung von Entwicklern mit Edge-KI-Tools

iWave bietet eine vollständige Suite von Software-Tools, Bibliotheken und Board Support Packages (BSPs), um den KI-Entwicklungszyklus auf Versal-Plattformen zu vereinfachen. Dank der Unterstützung für Vitis AI, OpenCV und Linux-basierte Entwicklung können Ingenieure KI-Workloads schneller bereitstellen, testen und optimieren.

Mit umfassender Dokumentation, langfristiger Verfügbarkeit (mehr als 10 Jahre) und ODM-Designservices stellt iWave sicher, dass Kunden vom Prototyp bis zur Produktion mit Zuversicht skalieren können.

iWave Global ist ein vertrauenswürdiger Anbieter von technischen Lösungen, der sich auf FPGA-basierte SoMs (System-on-Modules) und ODM-Designservices für die Industrie-, Automobil-, Medizin- und Verteidigungsmärkte spezialisiert hat. Dank jahrzehntelanger Erfahrung im Bereich Embedded ermöglicht iWave Innovationen im Edge-Bereich durch zuverlässige, skalierbare und leistungsstarke Hardware-Plattformen.

Um zu erfahren, wie das SoM Versal AI Edge Ihre nächste KI-Innovation unterstützen kann, besuchen Sie www.iwave-global.com oder kontaktieren Sie mktg@iwave-global.com.