INFRASTRUKTURARKITEKTUR

NVIDIA GB200 NVL72 Infrastruktur og MPO-8 APC Kabeltrækning til Skalerbare Enheder

Dekomponering af kablingarkitekturen i en Blackwell Scalable Unit (SU), hvor 8 racks konvergerer til 9.216 aktive fiberstrenger.

DGX GB200 Scalable Unit (SU) repræsenterer et stort skift i datacenterarkitekturen. SU’en er en forenet 576-GPU-enhed sammenkoblet af 9.216 aktive fiberstrenger. ScaleFibre leverer de præcisionsterminerede trunks, der kræves for at håndtere denne tæthed.

De 4 Fysiske SuperPOD Stoffer

NVIDIA segmenterer SU i forskellige fysiske lag for at isolere GPU-trafik.

MN-NVL (NVLink 5)

Scale-Up

Det ‘interne’ rack-netværk, der forbinder 72 GPU’er med 1,8 TB/s.

  • Nul Optisk Fiber
  • Passiv Kobber Backplane
  • Blind-mate konnektorer

Compute InfiniBand

Scale-Out

Det primære ‘Øst-Vest’ stof til massiv multi-node træning.

  • 4.608 aktive fibre pr. SU
  • Skinne-optimeret topologi
  • Quantum-3/Quantum-2

Lager & In-Band

Frontend

Ethernet-baseret stof til høj hastigheds dataindtagelse og provisionering.

  • 5:3 Blokeringsfaktor
  • BlueField-3 DPU offload
  • VXLAN/RoCE support

OOB Management

Kontrolplan

Det isolerede netværk til hardware telemetri, BMC og PDU management.

  • RJ45/Cat6 Kobber
  • SN2201 Switch-tier
  • Fysisk air-gap sikkerhed

Exascale SU Metrikker

En 8-rack Scalable Unit repræsenterer den grundlæggende byggesten i NVIDIA AI Factory.

9,216

Aktive Fibre pr. SU

4,608

Kun Compute-strenger

5:3

Lagerblokeringsforhold

400G/800G

Native Port Hastigheder

De Tre Niveauer af SU Forbindelse

1
Niveau A: Server-til-Leaf

1.152 fibre pr. rack ved brug af trunks med højt fiberantal eller jumpere til at forbinde NVL72 noder til Leaf Switches.

2
Niveau B: Leaf-til-Spine

Aggregering af skinnejusteret trafik inden for SU ved brug af 1:1 ikke-blokerende links til compute.

3
Niveau C: Spine-til-Core

Skalering ud over SU til et centraliseret Core-område ved brug af trunks med højt antal.

Traditionel Patching (Punkt-til-Punkt)

  • ✕
    Manuel kompleksitet: Kræver 9.216 individuelle patchkabler pr. 8-rack-blok.
  • ✕
    Luftstrømsforhindring: Tætte kabelbundter blokerer for udstødningsveje for væskekøling.
  • ✕
    Risikoprofil: Høj sandsynlighed for ‘krydsede skinner’ under manuel 1:1 patching.
  • ✕
    Implementeringstid: 115+ timer for manuel rute og mærkning pr. SU.

Modulær Kabelføring med Højt Fiberantal

  • ✓
    Plug-and-Play: Konsoliderer tusindvis af fibre i præterminerede 128F/144F/256F/288F/576F skræddersyede trunks.
  • ✓
    Termisk optimering: Kabler med lille diameter maksimerer luftstrømmen i tætte racks.
  • ✓
    Effektiv Vejføring: Konsoliderer 1.152 aktive fibre pr. rack i MPO-backbones med højt antal.
  • ✓
    Installationsprofil: Hurtig implementering via præterminerede fabriksprøvede samlinger.

Aktiv Fiber Vækst: Node til Fuld SuperPOD

Kabling Kompleksitet
9.216 aktive fibre pr. SU kræver modulære kabler med højt fiberantal for at undgå luftstrømsblokerende 'kabelkaos'.

Skalerbar Enhed Visualiseret

Den 8-Rack Compute Blok
Den 8-Rack Compute Blok

En NVIDIA GB200 SU (Scalable Unit) består af 8 racks, hver med et DGX GB200 NVL72 system med 72 GPU’er.

Distribution af Kabler med Højt Fiberantal
Distribution af Kabler med Højt Fiberantal

Konsolidering af tusindvis af rack-fibre i høj-densitets kabler for at sikre luftstrøm, hurtig installation og minimalt pladsforbrug.

Væskekøling
Væskekøling

Væskekølede koldplader stabiliserer bakke-miljøet, hvilket tillader OSFP transceivers at aflede varme effektivt via køleplader.

Technical FAQ

+ Hvordan forbliver SU-antallet håndterbart med 9.216 fibre?
Ved at anvende et hierarkisk kablingssystem. Trunks med højt fiberantal erstatter tusindvis af individuelle MPO patchkabler, hvilket reducerer det fysiske volumen og forhindrer køleforstyrrelser.
+ Hvad er '5:3 Blokeringsfaktoren' i lagerstoffet?
I modsætning til det ikke-blokerende (1:1) compute-stof er lagernetværket bevidst overtegnet. Dette reducerer fiberomkostninger og kompleksitet, samtidig med at det opfylder kravet om 40 GB/s pr. node for lager. Implementering anvender ofte NVIDIA-kompatible MPO patchkabler.
+ Hvorfor er det interne NVLink-stof fiberfrit?
NVIDIA anvender en passiv kobber-backplane og kabelpatroner inden for NVL72-racket. Dette eliminerer tusindvis af optiske transceivers og fibre, hvilket betydeligt reducerer strømforbrug og latenstid. Optisk fiber er forbeholdt scale-out compute-stoffet.
+ Hvad sker der, når vi skalerer til 16 Skalerbare Enheder?
På 16-SU-skala (9.216 GPU’er) når det samlede antal aktive fibre for compute-stoffet alene 18.432 strenge. At håndtere denne densitet kræver høj-densitets kabinetter designet specifikt til optisk fiber med højt antal og centraliserede kernegruppeskiftarkitekturer.
+ Hvorfor bruges MPO-8 i stedet for den standard MPO-12?
Moderne 400G NDR og 800G XDR transceivers bruger 4-spors eller 8-spors parallel optik. En 8-fiber MPO-justering matcher perfekt 4x Tx og 4x Rx konfigurationen. Brug af 8-fiber aktive MPO trunks eliminerer ‘mørke’ eller spildte fibre inden for klyngestoffet.
+ Hvad er vigtigheden af APC (Angled Physical Contact) polering?
Højhastigheds 100G-PAM4-signalering er ekstremt følsom over for bagrefleksioner. Den 8-graders vinkel på en APC-konnektor sikrer, at reflekteret lys absorberes i fiberkappen, hvilket opretholder den høje Optical Return Loss (ORL), der kræves for fejlfri AI-træning.
+ Hvordan påvirker fibertæthed væskekølede AI-haller?
Selv med væskekølede bakker skal luften stadig cirkulere for at håndtere sekundær varme. Brug af høj-densitets SmartRibbon-kabler reducerer kabeldiameteren betydeligt, hvilket sikrer, at den fysiske kabling ikke hindrer luftstrøm eller væskekølingsmanifoldere.
+ Hvad er afstandsgrænserne for kabling på SU-niveau?
Multimode (OM4/OM5) er begrænset til 50 meter for 400G/800G. For centraliserede Spine-til-Core-links, der overskrider dette, er Single-mode G.657.A1 fiber obligatorisk for at understøtte længere rækkevidde uden signalforringelse.
+ Kan jeg bruge standard udendørskabler til AI-datacenterbackbones?
Nej. Indendørs AI-haller kræver LSZH (Low Smoke Zero Halogen), Riser eller Plenum for at opfylde de krævede brandsikkerhedsbestemmelser afhængigt af lokale regler. For høj-densitets vejføringer giver specialiserede SlimCORE indendørskabler det nødvendige antal strenge i en reduceret diameter.
+ Hvad er fordelen ved fabriksfærdige pigtails i SU'en?
MPO cord optiske fiberpigtails muliggør hurtig massesammenføjning på Spine- eller Core-laget. Denne fabrikskontrollerede terminering i den ene ende giver fordelene ved præterminering, mens den ‘stumpe’ ende giver fleksibilitet til at tilpasse til den krævede længde på stedet.

Arkitekter din AI Fabrik

ScaleFibre leverer præterminerede kablingsløsninger til NVIDIA DGX SuperPOD implementeringer.

Kontakt os

Få detaljer om trunks med højt fiberantal til din NVidia DGX SU.

Del: