De bekabelingsoplossing voor moderne datacenters

Net zoals leidingen gas of olie vervoeren, vervoeren kabels gegevens, de brandstof voor computers.

Het soort kabels dat data- en communicatieapparatuur nodig heeft, hangt af van verschillende factoren, zoals het soort verkeer dat ze vervoeren en de afstanden die ze afleggen. Kabels voor gegevensopslag leiden bijvoorbeeld het verkeer van computers naar opslagschakelaars naar opslageenheden, terwijl kabels voor netwerkverkeer gegevens van computers naar netwerkschakelaars naar routers leiden. Telecommunicatieverkeer verplaatst zich van mobiele torens of kabeldozen naar centrale kantoren. Voor elk is een ander soort kabel nodig.

Ook afstanden zijn van belang: bekabeling kan over een zeer korte afstand lopen, binnen hetzelfde serverrack of tussen verschillende racks of kamers in een gebouw. Andere bekabeling moet echter campusbreed zijn en kilometers ver lopen.

In de loop der jaren zijn beslissingen over bekabeling steeds belangrijker geworden door één overkoepelende ontwikkeling: de snelle groei van datacenters.

De opkomst van datacenters

De AI-revolutie draait op hogesnelheidsdatacenters, die dienen als ruggengraat voor het computergebruik van toepassingen. Met de explosieve groei van AI neemt ook de vraag naar datacenters toe. Alleen al in de VS zal de vraag naar datacenters met 10% toenemen, in ieder geval tot 2030, volgens McKinsey. Daarnaast groeiden de investeringen in datacenters alleen al in het tweede kwartaal van 2024 met bijna 50%, voornamelijk door de groeiende vraag naar AI-servers, volgens een rapport van de Dell'Oro Group.

Om tegemoet te komen aan de onverzadigbare vraag naar hogesnelheidscomputers is een groei van het aantal datacenters alleen niet langer voldoende. Er wordt ook druk uitgeoefend voor betere, snellere en hogere doorvoer van krachtige servers, zowel om informatie binnen datacenters te transporteren als ertussen via interconnecties. Terwijl 100 G-netwerken vroeger de gouden standaard waren, worden 400 G-implementaties nu steeds gebruikelijker, omdat IIoT, cloudcomputing en AI de adoptie ervan stimuleren. Een andere ontwikkeling in datacenters die in de gaten moet worden gehouden, is de groeiende roep om lager energieverbruik. Dit betekent dat de gegevensoverdrachtsnelheid moet toenemen en energiezuiniger moet worden.

Wat betekent deze behoefte aan grotere, betere, snellere en energie-efficiëntere computers voor de bekabeling van datacenters? In het meest basale geval moeten kabels gegevens snel transporteren, een lage latentie hebben en dit doen zonder verlies van gegevenspakketten of te veel stroom te verbruiken. De kabel moet dit ook doen zonder te veel warmte te genereren, want koeling kost ook energie.

Hoewel een datacenter tientallen soorten apparatuur heeft, waaronder netwerk-, koel-, opslag- en voedingssystemen, ligt de nadruk in dit artikel op de bekabeling naar de hardwarecomponenten van een typisch datacenterrack. Dit kunnen bijvoorbeeld switches zijn, die werken als een verkeersregelaar, en transceivers, die de gegevens van het ene systeem naar het andere converteren.

Kabels voor de datacenters van vandaag

Drie soorten kabels worden vaak gebruikt voor communicatie met grote volumes, zoals een capaciteit van 10 Gbps of de modernste, 400 Gbps. Een typische internetverbinding thuis is minder dan 1 Gbps.

De CAT6-kabel: wordt vaak gebruikt in computernetwerken om Ethernetframes te transporteren en maakt gebruik van RJ45-connectors. Om verbinding te maken met switchapparatuur, wordt een RJ45-zendontvanger gebruikt om de switch om te zetten naar RJ45-compatibele signalen en aan de andere kant weer terug. De latentie is ongeveer 2,6 ns en het kan ongeveer 100 m lang zijn. De zendontvanger zorgt voor een stroomverbruik van ongeveer 4 W.

Optische vezel: Optische vezel wordt vaak gebruikt voor video- en audiocommunicatie, maar vindt ook toepassingen in netwerken en data. Het maakt gebruik van optische connectoren en heeft een zendontvanger nodig om elektriciteit om te zetten in licht en weer terug in elektriciteit. Eenmaal omgezet in licht, is de latentie van de optische vezel ongeveer 0,1 ns en kan deze honderden meters lang zijn. Het is echter erg kieskeurig; de optische vezel bevat glas of plastic dat niet graag buigt en als het uiteinde een stofdeeltje oppikt, daalt de capaciteit. Het is ook duur, vooral als je de optische zendontvanger toevoegt, die het stroomverbruik met ongeveer 4 W verhoogt.

Direct verbonden koper (DAC): De DAC is de eenvoudigste en meest vergevingsgezinde bekabelingsoptie. De koperen kabels zijn het meest geschikt voor toepassingen op korte afstand, zoals componenten binnen hetzelfde rack. De DAC is goedkoop en flexibel en kan zonder transceivers worden gebruikt bij het aansluiten van compatibele apparatuur, maar is slechts goed voor een paar meter. De DAC moet ook niet te dicht bij voedingen, grote batterijen of magneten worden geplaatst omdat hij dan last kan hebben van interferentie.

DAC's zijn er in passieve en actieve varianten. De passieve DAC heeft geen zendontvangers en omdat de transmissie passief is, wordt het originele signaal overgedragen zoals het is. Het ontbreken van zendontvangers helpt het stroomverbruik tot een minimum te beperken.

Een actieve DAC heeft ingeweven zendontvangers die ook potentieel signaalverlies compenseren, waardoor het een veiligere keuze is voor langeafstandstoepassingen in een datacenter. De toevoeging van elektronische elementen zoals zendontvangers verhoogt het stroomverbruik van de actieve DAC een beetje, meestal met ongeveer 1 W.

De voordelen van DAC voor datacenters

In een datacenter moet de latentie - de tijd die gegevens nodig hebben om van de ene bron naar de andere te gaan - zo kort mogelijk zijn. Veel tijdkritische toepassingen, zoals autonome mobiele robots (AMR's) in magazijnen of daghandel in de financiële wereld, draaien allemaal op beslissingen in een fractie van een seconde. Het belangrijkste voordeel van de DAC is dat hij zo'n lage latentie heeft. Deze cruciale eigenschap van de DAC is een direct gevolg van zijn eenvoud. Het heeft geen complexe tussenliggende componenten waar de gegevens doorheen moeten, waardoor ontwerpen minder complex en gemakkelijker te onderhouden zijn.

De DAC is ook een betaalbare bekabelingsoptie en vooral de passieve DAC verbruikt heel weinig stroom. De grootste beperking is de lengte waarover deze kabels kunnen werken zonder al te veel signaaldegradatie, meestal ongeveer een paar meter. De DAC is niet de meest efficiënte oplossing voor datatransmissie over lange afstanden, maar is het meest geschikt voor verbindingen over korte afstanden binnen hetzelfde rack of tussen racks. Het vermogen om te buigen maakt het bijzonder geschikt voor dichte interconnecties die tussen elkaar en in krappe hoeken moeten passeren.

De 3M 9V4-serie 400G QSFP-DD DAC-kabelassemblages (Afbeelding 1), maken gebruik van 3M twin axiale kabeltechnologie om een flexibele, opvouwbare, high-performance oplossing te creëren. Bijzonder opmerkelijk is de QSFP-DD (Quad Small Form-Factor Pluggable Double Density) vormfactor, een hardwarestandaard die snellere verbindingen mogelijk maakt. SFP betekent dat de kabel een standaardvorm en -grootte heeft die in netwerkapparatuur kan worden gestoken; de "quad" geeft de vier gegevenskanalen aan die de kabel kan ondersteunen; en dubbele dichtheid zorgt ervoor dat er twee keer zoveel gegevens door een connector van dezelfde fysieke grootte kunnen stromen.

Afbeelding 1: De 3M 9V4-serie 400G QSFP-DD DAC-kabelassemblages zijn vooral waardevol voor korteafstandsverbindingen met lage latentie binnen hetzelfde rack of tussen racks in datacenters. (Bron afbeelding: 3M)

Het nettoresultaat is dat DAC-kabels zoals de 3M 9V4-serie 400 G QSFP-DD de beste in hun klasse zijn voor bandbreedtes tot 400 Gbps om servers, switches, opslag en andere high-speed apparatuur aan te sluiten.

Overwegingen bij het ontwerp van de bekabeling voor de DAC in datacenters

Aangezien de passieve DAC de meest economische en lage latentieoplossing is voor datacenters, is het de moeite waard om na te denken over hoe deze kan worden geïntegreerd in de infrastructuurrekken van datacenters.

Enkele belangrijke factoren om te overwegen zijn:

• Compatibiliteit met hardware: Aangezien kabels moeten worden aangesloten op transceivers, switches, routers en meer, is het belangrijk om ervoor te zorgen dat selecties compatibel zijn met bestaande systemen en kunnen worden aangepast aan toekomstige iteraties. De 3M 9V4-serie 400G QSFP-DD is compatibel met de meeste moderne apparatuur. Voor het geval dat datacenters een poort met een hoge capaciteit moeten opsplitsen in meerdere aansluitingen met een lagere capaciteit (zoals vier 100 Gbps of acht 50 Gbps aansluitingen uit een 400 Gbps aansluiting), wordt de serie ook geleverd met breakout kabelassemblages.
• Gegevenssignalen behouden: Het ontwerp voor DAC moet rekening houden met het feit dat de kabels bijzonder gevoelig zijn voor elektromagnetische interferentie (EMI), vooral van netsnoeren en kabels. Daarom moeten de DAC-datakabels duidelijk worden gescheiden van de voedingskabels.
• Gemakkelijke toegang voor onderhoud: De plaatsing van de kabels moet eenvoudige toegang voor onderhoudstechnici mogelijk maken. Bovengrondse bekabeling, waarbij de DAC vanaf het dak van de kamer naar binnen valt, wordt meestal beschouwd als een betere optie voor toegang omdat de kabel niet te lang of te kronkelig hoeft te zijn voor de interconnects.
• Efficiënte ventilatie en koeling: Techstacks geven veel warmte af en bij het beheer van de DAC-bekabeling moet rekening worden gehouden met ventilatieplannen. Dit kan van invloed zijn op de dichtheid van apparatuur en de bijbehorende bekabelingsvereisten.
• Schaalbaarheid: Techstacks veranderen en DAC-bekabeling moet zich aan dergelijke veranderingen kunnen aanpassen. Door kabels te groeperen en efficiënt te labelen en te bundelen, kunnen technici volledige componenten samen beheren in plaats van ze allemaal afzonderlijk te moeten sorteren.

Conclusie

Naarmate computing evolueert om ruimte te maken voor edge AI, meer virtualisatie en hypergeconvergeerde omgevingen, zullen naar verwachting ook de behoeften aan gerelateerde hardware-apparatuur veranderen.

In de toekomst zal er waarschijnlijk meer gebruik worden gemaakt van machine learning hardware, edge datacenters en gedistribueerde infrastructuur. Hardware met geavanceerde beveiligings- en duurzaamheidsfuncties is ook niet ver weg meer. Ondanks dit alles zal de DAC waarschijnlijk de voorkeurskabel blijven, vooral voor korte interconnects in technische racks. De lasersnelle latentie en algemene kostenbesparingen zijn onovertroffen. Als gevolg hiervan zal de DAC zijn nut blijven bewijzen in het datacenter en daarbuiten.