Hoe sensorfusie AMR's in staat stelt om efficiënt over fabrieksvloeren te manoeuvreren

Naarmate er steeds meer mensen en autonome mobiele robots (AMR's), ook wel industriële mobiele robots (IMR's) genoemd, op dezelfde plek werken, moet rekening worden gehouden met meerdere inherente veiligheidsrisico's. De veilige en efficiënte werking van AMR's is te belangrijk om op één sensortechnologie te vertrouwen.

Multisensorfusie, of gewoon 'sensorfusie', combineert technologieën zoals laserafstandsmeting (LIDAR), camera's, ultrasone sensoren, lasers, obstakelsensoren en radiofrequentie-identificatie (RFID) die AMR-functies ondersteunen, zoals navigatie, padplanning, vermijden van botsingen, voorraadbeheer en logistieke ondersteuning. Sensorfusie omvat ook het waarschuwen van mensen die in de buurt zijn voor de aanwezigheid van de AMR.

Om tegemoet te komen aan de behoefte aan een veilige en efficiënte werking van AMR's, ontwikkelen het American National Standards Institute (ANSI) en de Association for Advancing Automation (A3), voorheen de Robotic Industries Association (RIA), de ANSI/A3 R15.08-normen. R15.08-1 en R15.08-2 zijn al beschikbaar en zijn gericht op basisveiligheidseisen en het integreren van AMR's op een site. R15.08-3 is momenteel in ontwikkeling en zal de veiligheidseisen voor AMR's uitbreiden, inclusief meer gedetailleerde aanbevelingen voor het gebruik van sensorfusie.

Vooruitlopend op R15.08-3 geeft dit artikel een overzicht van enkele van de huidige beste werkwijzen met betrekking tot veiligheid en sensorfusie in AMR's. Het begint met een kort overzicht van de functionele veiligheidsvereisten die momenteel worden gebruikt voor AMR's, waaronder generieke industriële veiligheidsnormen zoals IEC 61508, ISO 13849 en IEC 62061, en de veiligheidsvereisten voor het detecteren van de aanwezigheid van mensen zoals IEC 61496 en IEC 62998. Vervolgens wordt een typisch AMR-ontwerp gepresenteerd waarin de talrijke sensortechnologieën gedetailleerd worden beschreven, representatieve apparaten worden gepresenteerd en wordt bekeken hoe ze functies ondersteunen zoals navigatie, padplanning, lokalisatie, het vermijden van botsingen en voorraadbeheer/logistieke ondersteuning.

Goed, beter, best

AMR-ontwerpers moeten rekening houden met een reeks veiligheidsnormen, te beginnen met algemene functionele veiligheidsnormen zoals IEC 61508, ISO 13849 en IEC 62061. Er zijn ook meer specifieke veiligheidsnormen met betrekking tot het detecteren van de aanwezigheid van mensen, zoals IEC 61496, IEC 62998 en de ANSI/A3 R15.08-normen.

IEC 61496 biedt richtlijnen voor verschillende sensortypen. Het verwijst naar IEC 62061, dat eisen specificeert en aanbevelingen doet voor het ontwerp, de integratie en validatie van elektrogevoelige beschermingsmiddelen (ESPE) voor machines, inclusief veiligheidsintegriteitsniveaus (SIL's), evenals naar ISO 13849, dat betrekking heeft op de veiligheid van machines en veiligheidsgerelateerde onderdelen van besturingssystemen, inclusief veiligheidsprestatieniveaus (PL's) (tabel 1).

Tabel 1: Veiligheidseisen voor ESPE's per type, gespecificeerd in IEC 61496. (Bron tabel: Analog Devices)

IEC 62998 is nieuwer en is vaak een betere keuze omdat het richtlijnen bevat voor het implementeren van sensorfusie, het gebruik van kunstmatige intelligentie (AI) in veiligheidssystemen en het gebruik van sensoren op bewegende platforms die buiten IEC 61496 vallen.

Met R15.08 deel 3 wordt de R15.08-serie straks wellicht de beste keuze omdat het veiligheidseisen toevoegt voor gebruikers van AMR-systemen en AMR-toepassingen. Tot de mogelijke onderwerpen behoren sensorfusie en uitgebreidere AMR-stabiliteitstests en -validatie.

Sensorfusiefuncties

Het in kaart brengen van de faciliteit is een essentieel aspect van AMR. Maar dit is geen eenmalige activiteit. Het maakt ook deel uit van een continu proces dat simultane lokalisatie en mapping (SLAM) wordt genoemd, soms ook gesynchroniseerde lokalisatie en mapping genoemd. Dit is het proces waarbij de kaart van een gebied continu wordt bijgewerkt met veranderingen terwijl de locatie van de robot wordt gevolgd.

Sensorfusie is nodig om SLAM te ondersteunen en de veilige werking van AMR's mogelijk te maken. Niet alle sensoren werken even goed onder alle omstandigheden en verschillende sensortechnologieën produceren verschillende gegevenstypen. AI kan worden gebruikt in sensorfusiesystemen om informatie over de lokale werkomgeving te combineren (is het nevelig of rokerig, vochtig, hoe helder is het omgevingslicht, etc.) en kan een betekenisvoller resultaat bieden door de output van verschillende sensortechnologieën te combineren.

Sensorelementen kunnen worden gecategoriseerd op functie en technologie. Voorbeelden van sensorfusiefuncties in AMR's zijn (afbeelding 1):

• Afstandssensoren zoals encoders op wielen en traagheidsmeeteenheden met gyroscopen en versnellingsmeters meten de beweging en bepalen het bereik tussen referentieposities.
• Beeldsensoren zoals driedimensionale (3D) camera's en 3D LiDAR worden gebruikt om objecten in de buurt te identificeren en te volgen.
• Communicatieverbindingen, rekenprocessoren en logistieke sensoren zoals barcodescanners en apparaten voor radiofrequentie-identificatie (RFID) verbinden de AMR met facilitaire managementsystemen en integreren informatie van externe sensoren in het sensorfusiesysteem van de AMR voor betere prestaties.
• Nabijheidssensoren zoals laserscanners en tweedimensionale (2D) LiDAR detecteren en volgen objecten in de buurt van de AMR, inclusief de bewegingen van mensen.

Afbeelding 1: Voorbeelden van gebruikelijke sensortypen en gerelateerde systeemelementen die worden gebruikt in AMR-sensorfusieontwerpen. (Bron afbeelding: Qualcomm)

2D LiDAR, 3D LiDAR en ultrasoon

2D en 3D LiDAR en ultrasoon zijn veelgebruikte sensortechnologieën die SLAM en veiligheid in AMR's ondersteunen. Door de verschillen tussen deze technologieën kan de ene sensor de zwakke punten van de andere opvangen om de prestaties en betrouwbaarheid te verbeteren.

2D LiDAR gebruikt een enkel vlak laserverlichting om objecten te identificeren op basis van X- en Y-coördinaten. 3D LiDAR gebruikt meerdere laserstralen om een zeer gedetailleerde 3D-weergave van de omgeving te maken, die een puntenwolk wordt genoemd. Beide typen LiDAR zijn relatief ongevoelig voor omgevingslicht, maar vereisen wel dat objecten die gedetecteerd moeten worden een minimale reflectiedrempel hebben voor de golflengte die door de laser wordt uitgezonden. Over het algemeen kan 3D LiDAR objecten met een lage reflectiviteit betrouwbaarder detecteren dan 2D LiDAR.

De HPS-3D160 3D LiDAR-sensor van Seeed Technology integreert krachtige 850 nm infrarood VCSEL-zenders (vertical-cavity surface-emitting laser) en hooggevoelige CMOS. De ingebouwde krachtige processor bevat filter- en compensatiealgoritmen en kan meerdere gelijktijdige LiDAR-bewerkingen ondersteunen. De unit heeft een bereik van 12 meter met centimeter nauwkeurigheid.

Wanneer een 2D LiDAR-oplossing nodig is, kunnen ontwerpers zich wenden tot de TIM781S-2174104 van SICK. Deze heeft een openingshoek van 270 graden met een hoekresolutie van 0,33 graden en een scanfrequentie van 15 Hz. De sensor heeft een veiligheidsgerelateerd werkbereik van 5 meter (afbeelding 2).

Afbeelding 2: Deze 2D LiDAR-sensor heeft een openingshoek van 270 graden. (Bron afbeelding: SICK)

Ultrasone sensoren kunnen doorlatende objecten nauwkeurig detecteren, zoals glas en lichtabsorberende materialen die LiDAR niet altijd kan zien. Ultrasone sensoren zijn ook minder gevoelig voor interferentie door stof, rook, vocht en andere omstandigheden die LiDAR kunnen verstoren. Ultrasone sensoren zijn echter gevoelig voor interferentie door omgevingsgeluid en hun detectiebereik kan beperkter zijn dan LiDAR.

Ultrasone sensoren zoals de TSPC-30S1-232 van Senix kunnen LiDAR en andere sensoren aanvullen voor AMR SLAM en veiligheid. Ze hebben een maximaal bereik van 3 meter, vergeleken met 5 meter voor de 2D LiDAR en 12 meter voor de 3D LiDAR zoals hierboven beschreven. Deze ultrasone sensor met temperatuurcompensatie heeft een IP68-beschermingsgraad in een ecologisch afgedichte roestvrijstalen behuizing (afbeelding 3).

Afbeelding 3: Omgevingsafgedichte ultrasone sensor met een maximaal bereik van 3 meter. (Bron afbeelding: DigiKey)

Sensorfusie verwijst meestal naar het gebruik van verschillende discrete sensoren. Maar in sommige gevallen worden meerdere sensoren samen verpakt als een enkele eenheid.

Drie sensoren in één

Dankzij visuele waarneming met behulp van een tweetal camera's om stereoscopische beelden te produceren plus beeldverwerking op basis van AI en ML kan de AMR de achtergrond te zien en nabijgelegen objecten identificeren. Er zijn sensoren beschikbaar met stereodieptecamera's, een aparte kleurencamera en een IMU in één apparaat.

Stereodieptecamera's zoals de Intel RealSense D455 RealSense dieptecamera's maken gebruik van twee camera's die gescheiden zijn door een bekende basislijn om diepte waar te nemen en de afstand tot een object te berekenen. De sleutel tot precisie ligt bij het gebruik van een stevig stalen frame dat zorgt voor een exacte scheidingsafstand tussen de camera's, zelfs in veeleisende industriële omgevingen. De nauwkeurigheid van het algoritme voor dieptewaarneming is afhankelijk van de exacte afstand tussen de twee camera's.

Zo is de dieptecamera 82635DSD455MP geoptimaliseerd voor AMR's en vergelijkbare platforms en is de afstand tussen de camera's vergroot tot 95 mm (afbeelding 4). Hierdoor kan het algoritme voor diepteberekening de schattingsfout terugbrengen tot minder dan 2% op 4 meter.

Afbeelding 4: Deze module bevat stereodieptecamera's die 95 mm van elkaar zijn verwijderd, een aparte kleurencamera en een IMU. (Bron afbeelding: DigiKey)

D455-dieptecamera's bevatten ook een aparte kleurencamera (RGB). Een globale sluiter voor maximaal 90 beelden per seconde op de RGB-camera, afgestemd op het gezichtsveld (FOV) van de dieptebeeldcamera, verbetert de overeenkomst tussen de kleur- en dieptebeelden, waardoor het vermogen om de omgeving te begrijpen wordt vergroot. D455-dieptecamera's integreren een IMU met zes vrijheidsgraden waardoor het algoritme voor diepteberekening de bewegingssnelheid van de AMR mee kan nemen en dynamische schattingen van het dieptebewustzijn kan produceren.

Veiliger met licht en geluid

Zwaailichten en hoorbare waarschuwingen voor mensen in de buurt van een AMR zijn belangrijk voor de veiligheid van AMR. De lichten zijn meestal in de vorm van een lichttoren of een lichtstrook aan de zijkant van de AMR. Hiermee kan de robot beoogde acties aan mensen communiceren. Ook kunnen lichten en geluiden een status aangeven, zoals het opladen van de batterij, laad- of losactiviteiten, de intentie om een nieuwe richting in te slaan (zoals de richtingaanwijzers op een auto), noodsituaties enzovoort.

Er zijn geen standaarden voor lichtkleuren, knippersnelheden of hoorbare alarmen. Ze kunnen variëren afhankelijk van de AMR-maker en zijn vaak ontwikkeld om de specifieke activiteiten te weerspiegelen in de faciliteit waar de AMR werkt. Lichtstrips zijn verkrijgbaar met en zonder ingebouwde hoorbare waarschuwingen. Het model TLF100PDLBGYRAQP van Banner Engineering bevat bijvoorbeeld een afgedicht hoorbaar element met 14 selecteerbare tonen en volumeregeling (afbeelding 5).

Afbeelding 5: Deze lichtbalk-annunciator bevat een verzegeld hoorbaar element (bovenste zwarte cirkel). (Bron afbeelding: DigiKey)

Logistieke ondersteuning

AMR's maken deel uit van grotere operaties en moeten vaak worden geïntegreerd met ERP-software (enterprise resource planning), MES-software (manufacturing execution system) of WMS-software (warehouse management system). Dankzij de communicatiemodule op de AMR in combinatie met sensoren zoals barcode- en RFID-lezers kunnen AMR's nauw worden geïntegreerd in bedrijfssystemen.

Wanneer een barcodelezer nodig is, kunnen ontwerpers zich wenden tot de V430-F000W12M-SRP van Omron, die 1D- en 2D-barcodes op labels of DPM-barcodes (direct part mark) kan decoderen. De camera bevat autofocus met variabele afstand, een groothoeklens, een 1,2-megapixelsensor, een ingebouwde lamp en snelle verwerking.

De DLP-RFID2 van DLP Design is een betaalbare, compacte module voor het lezen van en schrijven naar hoogfrequente (HF) RFID-transpondertags. Het kan ook de unieke identificaties (UDI) van 15 tags tegelijk lezen en kan worden geconfigureerd voor gebruik van een interne of externe antenne. Het heeft een bedrijfstemperatuurbereik van 0 °C tot +70 °C, waardoor het geschikt is voor gebruik in Industry 4.0 productie- en logistieke faciliteiten.

Conclusie

Sensorfusie is een belangrijk hulpmiddel voor de ondersteuning van SLAM en veiligheid in AMR's. In afwachting van R15.08-3, die mogelijk verwijzingen bevat naar sensorfusie en uitgebreidere stabiliteitstests en validatie van AMR's, worden in dit artikel enkele huidige standaarden en beste werkwijzen voor het implementeren van sensorfusie in AMR's besproken. Dit is het tweede artikel in een tweedelige serie. In deel één werd de veilige en efficiënte integratie van AMR's behandeld in Industry 4.0-activiteiten voor maximaal voordeel.