• Vi skickar samma dag
  • Personlig service & fri rådgivning
  • Genuin omtanke
Kundservice +46 8 52 400 700

InfiniBand vs Ethernet

Var får ChatGPT och andra AI-drivna tjänster alla sina svar ifrån och hur kan det gå så snabbt? När obegripliga datamängder i obegripligt antal servrar processar och kommunicerar i jakten på svaren till din och miljoner andras frågor, måste flaskhalsar och väntetider ständigt minska. I den har artikeln behandlar vi InfiniBand och hur det minskar svarstider från mikrosekunder till nanosekunder.

För att bygga effektiva datorsystem måste det finnas bra balans mellan processorkraft, hur snabbt minnet kan hantera data, och hur väl systemet kan kommunicera med kringutrustning och externa enheter. Problemet är att medan processorer utvecklas snabbt och blir kraftfullare (enligt Moore’s lag fördubblas halvledares prestanda var artonde månad) så utvecklas inte I/O-anslutningar (de som hanterar dataflödet till och från systemet) i samma takt. De är begränsade av strikta mekaniska och elektriska faktorer som inte kan skalas upp lika snabbt som processortekniken.

Det här leder till obalans i systemet där processorprestanda ökar mycket snabbare än vad minnes- och I/O-prestanda gör, vilket till slut sätter en gräns för hur effektivt hela systemet kan arbeta. Egentligen skulle vi behöva uppdatera och förändra I/O-teknologin radikalt i samma takt för att hålla jämna steg med processorernas utveckling. Men i verkligheten finns det alltså praktiska hinder som gör att I/O-anslutningar inte kan förändras lika ofta, vilket bromsar den totala systemutvecklingen.

I ljuset av det ovannämnda har InfiniBand blivit just det radikala steget mot att ta igen förlorad mark inom I/O-kommunikationen och erbjuder mångdubbelt kortare svarstider (latens) jämfört med traditionell Ethernet. Därför är inte heller InfiniBand och Ethernet direkt kompatibla med varandra, eftersom de använder olika protokoll, kablar, kontakter och kommunikationsstandarder. Dock är det möjligt att sammanlänka dessa två nätverk med hjälp av gateways, nätverkskort och specialiserade enheter.

Ethernet vs InfiniBand eller RDMA vs TCP

Även om jämförelsen snabbt blir orättvis och inte heller är riktigt relevant eftersom teknikerna används (och är avsedda för) olika områden, så är den oundviklig. Metaforiskt kan man säga att Ethernet är som en bred motorväg med många körfält. Den är utmärkt för att transportera stora volymer av trafik, och den klarar av att hantera olika typer av fordon (applikationer) på ett flexibelt sätt. Även om det kan bli köbildningar (längre svarstider) och att resa långa sträckor tar tid (lägre prestanda), är det en välbekant och effektiv metod som fungerar för de flesta ändamål.

InfiniBand, å andra sidan, är som att ta ett jetplan direkt till din destination. Det är snabbare, har mycket mindre väntetid (kortare svarstid), och du når ditt mål snabbare eftersom du undviker de vanliga trafikflaskhalsarna på motorvägen. Det är dock mer specialiserat och används mest när tiden är kritisk, och varje sekund räknas – precis som i högprestandaberäkning (High Performance Computing, HPC) eller superdatorer.

Vad vi menar är, att det är sättet på vilket data transporteras och kontrolleras, samt varifrån kapaciteten att göra detta tas, som är den huvudsakliga skillnaden och ger mångdubbelt kortare väntetider. InfiniBand har begåvats med RDMA (Remote Direct Memory Access) som transportprotokoll att jämföras med TCP for Ethernet. För att fullt förstå den svindlande skillnaden detta innebär får vi påminna oss om TCP.

TCP/IP och RDMA

Transmission Control Protocol/Internet Protocol (TCP/IP) är det språk som din PC och dina andra nätverksenheter pratar för att förstå varandra i ett nätverk eller över Internet. Det har använts i evigheter och är ytterst pålitligt och stabilt, men detta kommer inte utan kostnad i form av processorutnyttjande. Tillförlitligheten bygger på att den sändande enheten alltid behåller en kopia av det data som skickas, så att en omsändning kan göras i det fall mottagarens bekräftelse på att data mottagits inte når sändaren inom en föreskriven tid. Denna process, att en nätverksswitch eller PC hela tiden måste skriva och läsa till sitt eget minne för att garantera att allt data når mottagaren, kostar massor av tid och är mycket processorkrävande.

RDMA å andra sidan tillåter att du direkt flyttar data från det fysiska minnet i en enhet till det fysiska minnet i en annan, utan att involvera processorn (CPU). Istället för att den sändande enheten (som med TCP) skall behöva "be processorn" att dela upp data i mindre sändvänliga block och mottagaren på motsvarande sätt be sin processor bygga ihop blocken (IP-paketen) till det ursprungliga innehållet, öppnar RDMA en plats i minnet för hela innehållet, med en instruktion att lagra resterande delar där tills sidan är komplett.

RDMA kompenserar för tillförlitligheten som TCP erbjuder genom att använda egna mekanismer för felhantering, flödeskontroll och dataöverföring, men gör detta på en lägre nivå, direkt i RDMA-hårdvaran utan att belasta CPU. Några av dessa har namn som "Out-of-Order" (OOO) packet handling för att sortera om paket istället för att begära omsändning, Cyclic Redundancy Check (CRC) för att snabbt upptäcka fel, Zero-copy som möjliggör sändning av data som inte kräver kvittens av mottagaren.

Allt detta sammantaget, att det som tidigare skedde i processorn nu sker i RDMA-hårdvaran samt att man har egna mekanismer för felhantering, flödeskontroll och dataöverföring, gör Infiniband överlägsen Ethernet när datahastighet och svarstider är avgörande, som i dagens AI-drivna tjänster.

Nedan, en grov jämförelse mellan Ethernet och Infiniband

Funktion/Aspekt Ethernet InfiniBand
Primärt användningsområde Allmän nätverk (LAN, WAN, datacenter) Högprestandaberäkning (HPC), låglatensförbindelser
Hastighet Vanliga hastigheter: 1Gbps, 10Gbps, 25Gbps, 40Gbps, 100Gbps, 400Gbps, 800Gbps Vanliga hastigheter: 40Gbps, 100Gbps, 200Gbps, 400Gbps, 800Gbps
Latens Högre latens jämfört med InfiniBand (ofta i mikrosekundintervallet) Ultra-låg latens (mätt i nanosekunder till mikrosekunder)
Protokoll-overhead TCP/IP-baserad, högre protokoll-overhead på grund av komplex nätverksstack (TCP, UDP, etc.) Använder RDMA (Remote Direct Memory Access) och lågoverhead-protokoll
Effektivitet Lägre effektivitet för högprestandaberäkning eller lagringsapplikationer Hög effektivitet, idealisk för HPC och lagringsapplikationer tack vare RDMA
Köhantering Grundläggande flödeskontroll Avancerad flödeskontroll och köhantering inbyggt i arkitekturen
Switching-fabric Traditionell paketväxling, designad för allmänna nätverksmiljöer Använder en förlustfri teknik (switchar dirigerar data med lägre felfrekvens, optimerat för högprestandatrafik)
Kostnad Generellt mer prisvärt och brett tillgängligt Vanligtvis dyrare på grund av specialiserad hårdvara och låglatensoptimeringar
Skalbarhet Mycket skalbar, används i företagsnätverk och stora datacenter globalt Skalbar inom HPC-miljöer men är mer nischad och specialiserad
Protokollager OSI-lager 1 (fysiskt) till 7 (applikation), inklusive en full nätverksstack (TCP/IP) Primärt på lager 1 till 4 (fysiskt, datalänk, nätverk, transport) med RDMA på högre lager
Topologistöd Stödjer olika topologier som stjärn-, mesh- eller trädtopologier Används vanligtvis i fat-tree, mesh eller hypercube-topologier för låglatenskommunikation
Applikationer Företagsnätverk, datacenter, molntjänster, lagringsnätverk (iSCSI, NAS) HPC-kluster, superdatorer, högfrekvenshandel, lagring (NVMe-oF, SRP)
Interoperabilitet Mycket interoperabel och bakåtkompatibel med äldre Ethernet-standarder Begränsad interoperabilitet, kräver ofta specialiserad InfiniBand-hårdvara
Hantering Hanteras via standardnätverksprotokoll (SNMP, CLI, SDN) Kräver specifik hanteringsprogramvara (t.ex. Subnet Manager för InfiniBand)
Felsökning Standardmekanismer för felkorrigering (CRC, checksummor) Förbättrad felupptäckt och korrigering för högre dataintegritet
Energieffektivitet Varierande, beroende på utrustning och konfiguration Generellt mer energieffektivt per bandbreddsenhet, optimerat för prestanda och låg latens

 

Är InfiniBand alltid "snabbare" än Ethernet vid samma hastighet?

Det är inte alldeles lätt att se skillnaden på "latens" och "bandbredd", men ja InfiniBand anses snabbare i betydelsen att det erbjuder lägre latens vid samma hastighet (bandbredd).

Latensen är den tid det tar för ett enskilt datapaket att färdas från en punkt till en annan och mäts vanligtvis i mikrosekunder eller nanosekunder. Bandbredd anger den totala kapaciteten, alltså hur mycket data som kan överföras samtidigt och mäts vanligtvis i Gbps (Gigabit per sekund) eller Tbps (Terabit per sekund).

InfiniBand och Ethernet kan ha samma bandbredd, till exempel 100 Gbps, men de skiljer sig ändå åt i hur snabbt varje datapaket kan komma fram, tack vare InfiniBands lägre latens. Och som du ser av tabellen nedan så följs Ethernet och InfiniBand åt vad gäller just bandbredden.

  • Single Data Rate (SDR): 10 Gbps
  • Double Data Rate (DDR): 20 Gbps
  • Quad Data Rate (QDR): 40 Gbps
  • Fourteen Data Rate (FDR): 56 Gbps
  • Enhanced Data Rate (EDR): 100 Gbps
  • High Data Rate (HDR): 200 Gbps
  • Next Data Rate (NDR): 400 Gbps

KB_InfiniBand_ill_800.png

Kan QSFP och OSFP fibermoduler fungera med både Ethernet och InfiniBand?

Ja, trots olikheterna i övrigt så kan faktiskt fibermodulerna vara kompatibla med båda teknikerna, men dessvärre beror det på den enskilda enheten och kan inte tas för given. Vissa QSFP- och OSFP-moduler är designade för att stödja både Ethernet och InfiniBand-protokoll, vilket gör att de kan växla mellan de två beroende på det aktuella behovet. Exempelvis stöder vissa QSFP+ moduler både 40GbE (Ethernet) och 40G InfiniBand (QDR). Kompatibiliteten möjliggörs genom att konfigurera fibermodulens firmware och se till att den används i enheter som stödjer båda protokollen.

Eftersom vi på Direktronik konfigurerar alla våra moduler i eget labb här i Nynäshamn kan vi enkelt och snabbt assistera dig när det gäller konfiguration för Ethernet eller InfiniBand.

Om du vill veta mer om InfiniBand, hur du hittar rätt fibermoduler, bygger fiberinfrastrukturen eller testar och kvalificerar nät för högsta prestanda, hör av dig till oss redan idag. Vi gillar att hjälpa till och är lätta att nå på chatt, mejl eller telefon: 08 52 400 700.

Missa heller inga artiklar i Kunskapsbanken, prenumerera på nyhetsbrevet

© Copyright 2024-10-25, innehållet är skyddat enligt lagen om upphovsrätt.

Produktområden

Best.nr 20120504
OSFP 800G SR8 50m MPO-12
20 280 SEK exkl. moms
Best.nr 133-4822
OSFP 400G Active Optical Cable (AOC) 10m
71 460 SEK exkl. moms
Best.nr 133-4821
OSFP 2xFR4 (2x200G) 2km
101 680 SEK exkl. moms
9 700 SEK exkl. moms
Best.nr 20120505
OSFP 800G 2xDR4 500m Dual MPO
25 340 SEK exkl. moms
Best.nr 133-4820
OSFP 400G SR8 MPO 100m
41 720 SEK exkl. moms
 
3x mer portdensitet än sin föregångare LC!
10 680 SEK exkl. moms
Finns i flera varianter
Best.nr 20108573
QSFP-DD 400G LR4
12 630 SEK exkl. moms
Best.nr 20120516
QSFP-DD 400Gb/s DR4 500m Transceiver
9 890 SEK exkl. moms
Best.nr 133-4824
QSFP-DD 400G Active Optical Cable (AOC) 10m
80 120 SEK exkl. moms
 
400G QSFP-DD till 50G SFP56 breakout-kabel där du kan ansluta 8st 50G-portar till 1st 400G-port. Du kan konfigurera ena sidan QSFP-DD på ett sätt och andra sidan SFP56 på ett annat sätt. Kontakta oss för rätt val av konfiguration.
2 730 SEK exkl. moms
Finns i flera varianter
8 090 SEK exkl. moms
Best.nr 20108572
QSFP-DD Tunable DWDM 400G 480km
148 600 SEK exkl. moms
Best.nr 133-4823
QSFP-DD 400G SR8 100m
35 490 SEK exkl. moms
Best.nr 20114757
100m, 8x850nm
7 600 SEK exkl. moms