Nutzung von GMSL für Bildverarbeitungsanwendungen mit hoher Bandbreite in der Robotik

Die Bildverarbeitung ist entscheidend für die Entwicklung von Roboteranwendungen, die die physische Welt in Echtzeit wahrnehmen und sich an sie anpassen müssen. Robotersysteme arbeiten in dynamischen, oft unvorhersehbaren Umgebungen, in denen Sensordaten innerhalb von Millisekunden erfasst, übertragen, verarbeitet und in Aktionen umgesetzt werden müssen. Jede zusätzliche Latenz, jeder Datenverlust und jede zeitliche Inkonsistenz kann die Leistung beeinträchtigen und sogar Sicherheitsrisiken schaffen.

Diese Einschränkungen werden immer anspruchsvoller, da sich Robotersysteme auf eine auf maschinellem Lernen basierende Wahrnehmung verlagern, die sich auf große Mengen visueller Daten und nicht auf eine aufgabenspezifische Programmierung stützt. Dies ermöglicht die Anpassungsfähigkeit von Roboteranwendungen, so dass sie neue Objekte, Umgebungen und Aufgaben mit minimaler Neuprogrammierung wahrnehmen können.

Diese Trends üben einen zunehmenden Druck auf die Art und Weise aus, wie visuelle Daten in Robotersystemen transportiert werden. Die GMSL-Technologie (Gigabit Multimedia Serial Link) kann bei der Bewältigung von Designherausforderungen helfen, indem sie die Vernetzung von Sensoren vereinfacht, den Verkabelungsaufwand reduziert und eine robuste Datenübertragung mit geringer Latenz zwischen verteilten Kameras und zentralen Rechenmodulen ermöglicht.

GMSL wurde ursprünglich für Anwendungen in der Automobilindustrie, wie z. B. Fahrerassistenzsysteme (Advanced Driver Assistance Systems, ADAS), entwickelt und wird heute häufig in der Robotik und in Bildverarbeitungssystemen eingesetzt, um entfernte Kameras und Sensoren mit geringer Latenzzeit und hoher Immunität gegenüber elektromagnetischen Störungen zu verbinden.

GMSL wurde von Analog Devices, Inc. entwickelt und ist eine Highspeed-Serialisierer/Deserialisierer-Kommunikationstechnologie (SerDes), die die Übertragung von Video und Daten mit hoher Bandbreite über ein einziges Koaxial- oder Twisted-Pair-Kabel ermöglicht. Anstatt eine Netzwerkstruktur gemeinsam zu nutzen, arbeitet jede Kamera über eine dedizierte Highspeed-Verbindung, wodurch Konflikte, Routingprobleme und paketbasierte Schwankungen vermieden werden. So entsteht ein vorhersehbarer Datenpfad, bei dem Timing und Latenz konsistent bleiben, auch wenn die Anzahl der Sensoren steigt.

Ein GMSL-Serialisierer nimmt Gruppen von Pixeldaten, die normalerweise parallel über mehrere Signalleitungen übertragen werden, und wandelt sie in einen kontinuierlichen seriellen Hochgeschwindigkeitsstrom um. Auf der Seite des Prozessors wandelt ein Deserialisierer sie wieder in ihr ursprüngliches Format um. Da jede Kamera über eine eigene Punkt-zu-Punkt-Verbindung verfügt, lässt sich die Bandbreite linear mit der Anzahl der Kameras skalieren, ohne dass es zu Netzwerkkonflikten, Overhead bei der Vermittlung oder Verzögerungen bei der Paketplanung kommt.

Die Vorteile dieses Ansatzes werden deutlicher, wenn Bildverarbeitungssysteme auf mehrere hochauflösende Kameras skaliert werden. Im Gegensatz zu Anwendungen mit nur einer Kamera benötigen diese Systeme eine dichte, synchronisierte visuelle Abdeckung, um Aufgaben wie Navigation, Manipulation und Szenenverständnis in Echtzeit zu unterstützen. Mit der zunehmenden Anzahl von Sensoren steigen auch die Anforderungen an die Bandbreite, die Verkabelung und die Timing-Präzision, wodurch die Grenzen der herkömmlichen Verbindungen auf Platinebene mit kurzer Reichweite deutlich werden.

Herkömmliche Ansätze wie USB, Standard-Ethernet oder direkte MIPI-Verbindungen auf Boardebene sind mit Abstrichen bei der Latenz, der Synchronisierung oder der physikalischen Reichweite verbunden. Das Ergebnis ist eine wachsende Integrationsherausforderung, da immer mehr Kameras die Komplexität der Verkabelung, des Timing-Managements und des Systemdesigns erhöhen.

Im Vergleich zu anderen Konzepten der Vernetzung für die Bildverarbeitung bietet GMSL mehrere deutliche Vorteile:

• Es übertrifft MIPI CSI-2 in Bezug auf Reichweite und Robustheit, während es eine einfache Punkt-zu-Punkt-Architektur mit geringer Latenz beibehält, die die Komplexität von Ethernet-basierten Bildverarbeitungsstacks vermeidet.
• GMSL bevorzugt die deterministische Punkt-zu-Punkt-Verbindung und die einfachere Synchronisierung mehrerer Kameras gegenüber der groß angelegten, verteilten Netzwerkflexibilität von Ethernet.
• Die Leistung ist im Großen und Ganzen vergleichbar mit FPD-Link, einer anderen proprietären SerDes-Option, wobei die Wahl zwischen den beiden oft von Ökosystemüberlegungen abhängt.

GMSL bringt eingebettete und vernetzte Bildverarbeitungssysteme in Einklang, indem es einen praktischen Ansatz für Highspeed-Kameravernetzung mit deterministischer Leistung und geringer Latenz bietet. Dies vereinfacht die Highspeed-Vernetzung für die Bildverarbeitung unter Einhaltung der strengen Latenz- und Zuverlässigkeitsanforderungen für Echtzeit-Robotersysteme.

Hohe Geschwindigkeit, hohes Volumen

Diese architektonischen Vorteile sind von entscheidender Bedeutung, da die Kameraauflösung und die Anzahl der Sensoren weiter zunehmen. GMSL kann große Datenmengen, insbesondere Videodaten, über ein einziges Kabel und von mehreren Kameras oder anderen Sensoren übertragen. Es wird eine dedizierte Punkt-zu-Punkt-Verbindung ohne Netzwerkkonflikte oder Paketweiterleitung verwendet. Anstatt mehrere Verbindungen für jeden Punkt zu verwenden, können Entwickler GMSL nutzen, um Datenströme mit hoher Bandbreite über Koaxial- oder Twisted-Pair-Kabel zu übertragen und dabei niedrige Latenzzeiten und eine hohe Rauschfestigkeit beizubehalten.

Die Technologie vereinfachte die Verkabelung in Kraftfahrzeugen und verbesserte die Robustheit, und dieselben Eigenschaften lassen sich direkt auf die Robotik übertragen: Weniger Kabel vereinfachen das elektrische und mechanische Design, was zu leichteren, zuverlässigeren Systemen und einer einfacheren Montage führt. Verteilte Kameras können weit entfernt vom Computermodul platziert und mit minimaler Verkabelung verbunden werden und liefern dennoch zuverlässig synchronisierte Daten mit geringer Latenz, die die Wahrnehmung und Entscheidungsfindung in Echtzeit unterstützen.

Roboter stützen sich zunehmend auf mehrere hochauflösende Kameras, manchmal kombiniert mit Tiefensensoren oder LiDAR (Light Detection and Ranging), um ihre Umgebung zu erfassen (Abbildung 1). Jede einzelne Kamera kann einen großen Datenstrom erzeugen, und wenn mehrere zusammen verwendet werden, kann der Bandbreitenbedarf ins Unermessliche steigen. Eine Kamera mit 1080p-Auflösung bei 30 Bildern pro Sekunde (fps) mit 24 Bit pro Pixel erzeugt 1,4 Gbit/s, so dass vier Kameras 5,6 Gbit/s und sechs 8,4 Gbit/s ergeben würden. Anwendungen mit höherer Auflösung und höherer Bildrate könnten die Bandbreitenanforderungen in den zweistelligen Gigabitbereich pro Sekunde treiben.

Abbildung 1: Illustration eines multimodalen robotergestützten Bildverarbeitungssystems, das durch GMSL ermöglicht wird und Bilddaten von mehreren Kameras und anderen Sensoren verarbeiten kann, um die Wahrnehmung von Robotern zu ermöglichen. (Bildquelle: Analog Devices, Inc.)

Die zuverlässige Unterstützung dieser Datenmenge erfordert eine Transportarchitektur, die vorhersehbar skaliert, ohne zeitliche Unsicherheiten zu verursachen. Die deterministischen und latenzarmen Verbindungen von GMSL stellen sicher, dass mehrere Kameras synchronisiert bleiben und Daten vorhersehbar liefern, so dass Anwendungen mit mehreren Kameras entwickelt werden können, ohne das System zu überlasten oder zeitliche Unsicherheiten zu verursachen.

Praktische Überlegungen

Robotersysteme sind auf dem Vormarsch, da Unternehmen sich auf vielseitige Plattformen verlegen, die wahrnehmen, manipulieren und autonome Entscheidungen treffen können. Humanoide Roboter wie Teslas Optimus sind auf Echtzeit-Kameranetzwerke mit mehreren synchronisierten, hochauflösenden Videoströmen angewiesen, um in komplexen Umgebungen zu navigieren und zu interagieren.

In der Robotik werden zunehmend verteilte Sensorarrays für die Echtzeitnavigation und -manipulation eingesetzt, was eine enge Synchronisation und zuverlässige Vernetzung erfordert. Da die Anforderungen an die Sensorik steigen, müssen die Anwendungen die Anzahl der Sensoren und die Auflösung erhöhen, ohne dabei die Computerressourcen zu belasten oder Zeitprobleme zu verursachen. Diese Anforderungen werden durch Edge- und Aggregationsgeräte umgesetzt, die Bildsensoren und Rechenplattformen miteinander verbinden, um synchronisierte Daten mit geringer Latenz zu erhalten, die für die Autonomie unerlässlich sind.

Am Rande des Systems dienen Geräte wie der GMSL2-Serialisierer MAX96717 von ADI als Schnittstelle zwischen den Bildsensoren und dem Transportlink (Abbildung 2). Direkt hinter der Kamera positioniert, nimmt er MIPI-CSI-2-Kameradaten mit hoher Bandbreite auf und konvertiert sie in eine serielle Hochgeschwindigkeitsverbindung für die Übertragung über eine Langstreckenverkabelung im Automobilbereich. Der Baustein unterstützt Vorwärtsverbindungsdatenraten von 3 Gbit/s oder 6 Gbit/s mit einem Rückwärtssteuerungskanal mit 187,5 Mbit/s und akzeptiert bis zu vier MIPI-CSI-2-Spuren mit 2,5 Gbit/s pro Spur.

Abbildung 2: In diesem Schaltplan wandeln vier MAX96717-Bausteine parallele Datenströme von separaten Kamerasensoren in ein serialisiertes Signal um, das über eine GMSL2-Verbindung an den MAX96724-Deserialisierer übertragen wird, der es aggregiert und in MIPI CSI-2 konvertiert, um aggregierte und synchronisierte Bilddaten an einen zentralen Prozessor zu liefern. (Bildquelle: Analog Devices, Inc.)

Der Serialisierer sorgt für die Echtzeitformatierung und Übertragung der Rohdaten der Kamera über eine GMSL2-Verbindung mit großer Reichweite, wobei die Integrität der Bilder, die Steuersignale und die Synchronisierungsmetadaten erhalten bleiben. Es verwandelt einen eng gekoppelten Bildsensor in einen Fernerkennungsknoten, der an einer beliebigen Stelle des Roboters platziert werden kann, so dass mehrere Kameras über eine Roboterplattform verteilt werden können, ohne durch Kurzstreckenverbindungen eingeschränkt zu sein.

Auf der Empfangsseite aggregiert ein Multi-Link-GMSL2-Deserialisierer wie der MAX96724 von ADI mehrere Remote-Kameraströme zu einem einzigen, synchronisierten Schnittstellen-Hub. Der Baustein ermöglicht eine skalierbare Multi-Kamera-Wahrnehmung, ohne die Systemkomplexität zu erhöhen, und bündelt mehrere GMSL2-Kameraströme - bis zu vier Verbindungen mit 3 oder 6 Gbit/s - in einer einzigen MIPI-CSI-2-Schnittstelle für den Host-Prozessor, wobei die Synchronisierung des Timings und die bidirektionale Steuerung der Sensoren beibehalten wird.

Sobald die Kameradaten deserialisiert sind, werden sie als Standard-Bildströme an den Host-Prozessor geliefert, normalerweise über die MIPI-CSI-2-Schnittstelle. Von dort aus werden die Bilder von mehreren Kameras parallel in den Bildverarbeitungsstack des Systems eingespeist, der ISP-Verarbeitung, Synchronisationslogik und KI-Inferenzmodelle für Aufgaben wie Objekterkennung, Tiefenschätzung, Verfolgung und Szenenverständnis umfassen kann.

Da die GMSL-Datenströme mit einem konsistenten Timing ankommen, können Anwendungen zuverlässig Daten über Kameras hinweg und mit anderen Sensoren wie LiDAR oder Trägheitsmesseinheiten (IMUs), die Bewegung und Orientierung überwachen, zusammenführen und dem Roboter so ein kohärentes Echtzeitverständnis seiner Umgebung ermöglichen. Für die Entwicklung und Validierung kann eine vollständige Signalkette mit Hilfe von Evaluierungsplattformen implementiert werden, die Serialisierer-seitige Kameramodule mit Deserialisierer-Evaluierungskits wie dem MAX96724-BAK-EVK# (Abbildung 3) koppeln, so dass Entwickler die Synchronisation mehrerer Kameras, die Bandbreitenleistung und die Prozessorintegration testen können, bevor sie zu kundenspezifischen Hardware-Designs übergehen.

Abbildung 3: Die Evaluierungsplattform MAX96724-BAK-EVK# bietet eine Entwicklungsreferenz für Robotik-Bildverarbeitungssysteme, die mehrere GMSL2-Kameraströme von Serialisierern wie dem MAX96717 aggregiert und einen synchronisierten MIPI-CSI-2-Ausgang an einen zentralen Prozessor liefert. (Bildquelle: Analog Devices, Inc.)

Ausgereifte Technologie und Ökosystem

GMSL hat sich über mehrere Generationen hinweg entwickelt, wobei jede Generation die Bandbreite, Reichweite und Systemflexibilität erhöht hat, während die gleiche Kernarchitektur auf SerDes-Basis beibehalten wurde:

• Mit GMSL1 wurde eine robuste, für die Automobilindustrie geeignete Lösung für die Übertragung von Hochgeschwindigkeitsvideos über große Entfernungen eingeführt, die vor allem Kamerasysteme der HD-Klasse unterstützt.
• GMSL2 hat die Bandbreite und Skalierbarkeit deutlich erhöht und ermöglicht 1080p- und 4K-Mehrkamerasysteme mit engerer Synchronisation, geringerer Latenz und effizienterer Multistream-Aggregation - und ist damit die dominierende Generation in modernen ADAS- und Robotik-Plattformen.
• GMSL3 baut auf dieser Grundlage auf und bietet weitere Verbesserungen bei der Datenrate, der Systemflexibilität und der Unterstützung von hochauflösenden Sensoren der nächsten Generation und immer komplexeren Multisensorarchitekturen.

GMSL wird von einem ausgereiften Ökosystem unterstützt, das skalierbare, produktionsreife Implementierungen ermöglicht. Robotikentwickler können von einem kompletten Stapel validierter Komponenten profitieren, die so konzipiert sind, dass sie unter realen Bedingungen zuverlässig funktionieren, einschließlich Kameras, Rechenmodulen, Kabeln, Anschlüssen und Software-/Treiberunterstützung. Dieses Ökosystem reduziert die Komplexität der Integration, verkürzt die Entwicklungszyklen und senkt die Hürde für die Skalierung von frühen Prototypen zu Produktionssystemen.

Fazit

Da sich Robotersysteme in Richtung einer höheren Sensordichte und Echtzeit-Autonomie entwickeln, müssen Verbindungsarchitekturen skalierbar sein, ohne den Determinismus oder die Zuverlässigkeit zu beeinträchtigen. Durch die Vereinfachung der Verkabelung, die Beibehaltung eines deterministischen Timings und die Möglichkeit der verteilten Sensorplatzierung ermöglichen GMSL-basierte Architekturen den Entwicklern von Robotern, die Wahrnehmungsfähigkeit zu erhöhen, ohne das Rechen- oder Synchronisationsmodell grundlegend umzugestalten. Dies ist ein wichtiger Baustein auf dem Weg zu robotischen Bildverarbeitungssystemen mit hoher Dichte und in Echtzeit.