INFRASTRUCTUUR ARCHITECTUUR

NVIDIA GB200 NVL72 Infrastructuur en MPO-8 APC Bekabeling voor Schaaleenheden

De bekabelingsarchitectuur van een Blackwell Schaaleenheid (SU) ontleed, waar 8 racks samenkomen in 9.216 actieve glasvezelstrengen.

De DGX GB200 Scalable Unit (SU) vertegenwoordigt een grote verschuiving in de datacenterarchitectuur. De SU is een uniforme entiteit van 576 GPU’s, onderling verbonden door 9.216 actieve glasvezelstrengen. ScaleFibre levert de nauwkeurig getermineerde trunks die nodig zijn om deze dichtheid te beheren.

De 4 Fysieke SuperPOD Fabrics

NVIDIA segmenteert de SU in afzonderlijke fysieke lagen om GPU-verkeer te isoleren.

MN-NVL (NVLink 5)

Scale-Up

Het ‘interne’ racknetwerk dat 72 GPU’s verbindt met 1,8 TB/s.

  • Geen Optische Vezel
  • Passieve Koperen Backplane
  • Blind-mate connectoren

Compute InfiniBand

Scale-Out

De primaire ‘Oost-West’ fabric voor massale multi-node training.

  • 4.608 actieve vezels per SU
  • Rail-geoptimaliseerde topologie
  • Quantum-3/Quantum-2

Opslag & In-Band

Frontend

Ethernet-gebaseerde fabric voor snelle data-invoer en provisioning.

  • 5:3 Blokkeringsfactor
  • BlueField-3 DPU offload
  • VXLAN/RoCE ondersteuning

OOB Management

Controlelaag

Het geïsoleerde netwerk voor hardware telemetrie, BMC en PDU management.

  • RJ45/Cat6 Koper
  • SN2201 Switch-laag
  • Fysieke lucht-gap beveiliging

Exascale SU Metrieken

Een Schaaleenheid (SU) van 8 racks vertegenwoordigt de fundamentele bouwsteen van de NVIDIA AI Factory.

9,216

Actieve Vezels per SU

4,608

Alleen Compute Strengen

5:3

Opslag Blokkeringsverhouding

400G/800G

Native Poortsnelheden

De Drie Niveaus van SU Connectiviteit

1
Niveau A: Server-naar-Leaf

1.152 vezels per rack met trunks of jumpers met een hoog vezelaantal om NVL72 nodes te verbinden met Leaf Switches.

2
Niveau B: Leaf-naar-Spine

Aggregeren van rail-uitgelijnd verkeer binnen de SU met behulp van 1:1 niet-blokkerende links voor compute.

3
Niveau C: Spine-naar-Core

Schalen buiten de SU naar een gecentraliseerd Core-gebied met behulp van trunks met een hoog vezelaantal.

Verouderde Patching (Punt-naar-Punt)

  • ✕
    Handmatige Complexiteit: Vereist 9.216 individuele patchkabels per blok van 8 racks.
  • ✕
    Luchtstroombelemmering: Dichte kabelbundels blokkeren uitlaatpaden van vloeistofkoeling.
  • ✕
    Risicoprofiel: Hoge kans op ‘gekruiste rails’ tijdens handmatige 1:1 patching.
  • ✕
    Implementatietijd: 115+ uur voor handmatige routering en labelen per SU.

Modulaire Trunking met Hoog Vezelaantal

  • ✓
    Plug-and-Play: Consolideert duizenden vezels in voorgetermineerde 128F/144F/256F/288F/576F trunks op maat.
  • ✓
    Thermische Optimalisatie: Kabels met kleine diameter maximaliseren de luchtstroom in dichte racks.
  • ✓
    Pad Efficiëntie: Consolideert 1.152 actieve vezels per rack in MPO-backbones met hoog vezelaantal.
  • ✓
    Installatieprofiel: Snelle implementatie via voorgetermineerde fabriekstestsamenstellen.

Groei Actieve Vezels: Node tot Volledige SuperPOD

Bekabelingscomplexiteit
9.216 actieve vezels per SU vereisen modulaire trunks met een hoog vezelaantal om luchtstroomblokkerende 'kabelchaos' te voorkomen.

Schaaleenheid Gevisualiseerd

Het 8-Rack Compute Blok
Het 8-Rack Compute Blok

Een NVIDIA GB200 SU (Scalable Unit) bestaat uit 8 racks, elk met een DGX GB200 NVL72 systeem met 72 GPU’s.

Distributie van Trunks met Hoog Vezelaantal
Distributie van Trunks met Hoog Vezelaantal

Consolideren van duizenden rackvezels in trunks met hoge dichtheid voor luchtstroomvrijheid, snelle installatie en minimaal padgebruik.

Vloeistofkoeling
Vloeistofkoeling

Vloeistofgekoelde koudeplaten stabiliseren de ladeomgeving, waardoor OSFP-transceivers via ‘riding heat sinks’ effectief warmte kunnen afvoeren.

Technical FAQ

+ Hoe blijft het SU-aantal beheersbaar met 9.216 vezels?
Door een gelaagde bekabelingshiërarchie te gebruiken. Trunks met hoog vezelaantal vervangen duizenden individuele MPO-patchkabels, waardoor het fysieke volume wordt verminderd en koelingsbelemmeringen worden voorkomen.
+ Wat is de '5:3 Blokkeringsfactor' in de opslagfabric?
In tegenstelling tot de niet-blokkerende (1:1) compute fabric, is het opslagnetwerk opzettelijk overabonneerd. Dit vermindert vezelkosten en complexiteit, terwijl het voldoet aan de 40 GB/s per-node vereiste voor opslag. Implementatie maakt vaak gebruik van NVIDIA-compatibele MPO-patchkabels.
+ Waarom is de interne NVLink-fabric vezelvrij?
NVIDIA gebruikt een passieve koperen backplane en kabelcartridges binnen het NVL72-rack. Dit elimineert duizenden optische transceivers en vezels, waardoor het stroomverbruik en de latentie aanzienlijk worden verminderd. Optische vezel is gereserveerd voor de scale-out compute fabric.
+ Wat gebeurt er als we opschalen naar 16 Schaaleenheden?
Op de 16-SU schaal (9.216 GPU’s) bereikt het totale actieve vezelaantal voor de compute fabric alleen al 18.432 strengen. Het beheren van deze dichtheid vereist behuizingen met hoge dichtheid die specifiek zijn ontworpen voor optische vezels met een hoog aantal en gecentraliseerde core group switching architecturen.
+ Waarom wordt MPO-8 gebruikt in plaats van de standaard MPO-12?
Moderne 400G NDR en 800G XDR transceivers gebruiken 4-lane of 8-lane parallelle optica. Een 8-vezel MPO-uitlijning komt perfect overeen met de 4x Tx en 4x Rx configuratie. Het gebruik van 8-vezel actieve MPO-trunks elimineert ‘donkere’ of verspilde vezels binnen de cluster fabric.
+ Wat is het belang van APC (Angled Physical Contact) polijsting?
High-speed 100G-PAM4-signalering is extreem gevoelig voor reflecties. De 8-graden hoek van een APC-connector zorgt ervoor dat gereflecteerd licht wordt geabsorbeerd in de vezelmantel, waardoor de hoge Optical Return Loss (ORL) behouden blijft die nodig is voor foutloze AI-training.
+ Hoe beïnvloedt vezeldichtheid vloeistofgekoelde AI-hallen?
Zelfs met vloeistofgekoelde trays moet lucht nog steeds circuleren om secundaire warmte te beheren. Het gebruik van hoge-dichtheid SmartRibbon-kabels vermindert de kabeldiameter aanzienlijk, waardoor wordt gewaarborgd dat de fysieke bekabeling de luchtstroom of vloeistofkoelingsmanifolds niet belemmert.
+ Wat zijn de afstandsbeperkingen voor bekabeling op SU-niveau?
Multimode (OM4/OM5) is beperkt tot 50 meter voor 400G/800G. Voor gecentraliseerde Spine-naar-Core-links die dit overschrijden, is Single-mode G.657.A1 vezel verplicht om langere afstanden te ondersteunen zonder signaaldegradatie.
+ Kan ik standaard buitenkabels gebruiken voor AI-datacenter backbones?
Nee. Binnen AI-hallen vereisen LSZH (Low Smoke Zero Halogen), Riser of Plenum om te voldoen aan de vereiste brandveiligheidsvoorschriften, afhankelijk van lokale regelgeving. Voor paden met hoge dichtheid bieden gespecialiseerde SlimCORE binnenkabels het benodigde aantal strengen in een gereduceerde diameter.
+ Wat is het voordeel van in de fabriek getermineerde pigtails in de SU?
MPO-koord optische vezel pigtails maken snelle massafusielassen mogelijk op het Spine- of Core-niveau. Deze in de fabriek gecontroleerde terminatie aan één uiteinde biedt de voordelen van voor-terminatie, terwijl het ‘botte’ uiteinde flexibiliteit biedt om ter plaatse op de gewenste lengte te monteren.

Ontwerp Uw AI-Fabriek

ScaleFibre levert voorgetermineerde bekabelingsoplossingen voor NVIDIA DGX SuperPOD implementaties.

Neem Contact Op

Ontvang details over trunks met hoog vezelaantal voor uw NVIDIA DGX SU.

Delen: