INFRASTRUKTURARKITEKTUR

NVIDIA GB200 NVL72 Infrastruktur och MPO-8 APC-kablage för skalbara enheter

Avmystifierar kablagearkitekturen för en Blackwell Scalable Unit (SU), där 8 rack konvergerar till 9 216 aktiva fibersträngar.

DGX GB200 Scalable Unit (SU) representerar ett stort skifte inom datacenterarkitektur. SU är en enhetlig 576-GPU-enhet sammankopplad av 9 216 aktiva fibersträngar. ScaleFibre tillhandahåller de precisionsterminerade trunkar som krävs för att hantera denna densitet.

De 4 fysiska SuperPOD-nätverken

NVIDIA segmenterar SU i distinkta fysiska lager för att isolera GPU-trafik.

MN-NVL (NVLink 5)

Skala upp

Det ‘interna’ racknätverket som ansluter 72 GPU:er med 1,8 TB/s.

  • Ingen optisk fiber
  • Passiv kopparbackplane
  • Blind-mate-kontakter

Beräkna InfiniBand

Skala ut

Det primära ‘öst-västliga’ nätverket för massiv multi-nod-träning.

  • 4 608 aktiva fibrer per SU
  • Skenoptimerad topologi
  • Quantum-3/Quantum-2

Lagring och in-band

Frontend

Ethernet-baserat nätverk för snabb datainmatning och provisionering.

  • 5:3 Blockeringsfaktor
  • BlueField-3 DPU avlastning
  • VXLAN/RoCE-stöd

OOB-hantering

Kontrollplan

Det isolerade nätverket för hårdvarutelemetri, BMC och PDU-hantering.

  • RJ45/Cat6 Koppar
  • SN2201 Switch-nivå
  • Fysisk luftgapssäkerhet

Exascale SU-mått

En skalbar enhet (Scalable Unit) med 8 rack representerar den grundläggande byggstenen i NVIDIAs AI-fabrik.

9,216

Aktiva fibrer per SU

4,608

Endast beräkningsfibrer

5:3

Blockeringsförhållande för lagring

400G/800G

Ursprungliga porthastigheter

De tre nivåerna av SU-anslutning

1
Nivå A: Server till Leaf

1 152 fibrer per rack med trunkar med hög fibertäthet eller patchkablar för att ansluta NVL72-noder till Leaf-switchar.

2
Nivå B: Leaf till Spine

Aggregering av skenriktad trafik inom SU med 1:1 icke-blockerande länkar för beräkning.

3
Nivå C: Spine till Core

Skalning bortom SU till ett centraliserat Core-område med trunkar med hög fibertäthet.

Äldre patchning (punkt-till-punkt)

  • ✕
    Manuell komplexitet: Kräver 9 216 individuella patchkablar per 8-rackblock.
  • ✕
    Luftflödeshinder: Täta kabelbuntar blockerar utblåsvägar för vätskekylning.
  • ✕
    Riskprofil: Hög sannolikhet för ‘korsade skenor’ under manuell 1:1-patchning.
  • ✕
    Utrullningstid: 115+ timmar för manuell dragning och märkning per SU.

Modulär trunkning med hög fibertäthet

  • ✓
    Plug-and-Play: Konsoliderar tusentals fibrer i förterminerade 128F/144F/256F/288F/576F skräddarsydda trunkar.
  • ✓
    Termisk optimering: Kablar med liten diameter maximerar luftflödet i täta rack.
  • ✓
    Baneffektivitet: Konsoliderar 1 152 aktiva fibrer per rack till MPO-backbones med hög fibertäthet.
  • ✓
    Installationsprofil: Snabb utrullning via förterminerade fabriksprövade enheter.

Tillväxt av aktiva fibrer: Nod till full SuperPOD

Kablagekomplexitet
9 216 aktiva fibrer per SU kräver modulära trunkar med hög fibertäthet för att undvika luftflödesblockerande 'kabelkaos'.

Skalbar enhet visualiserad

8-rackberäkningsblocket
8-rackberäkningsblocket

En NVIDIA GB200 SU (Scalable Unit) består av 8 rack, var och en med ett DGX GB200 NVL72-system med 72 GPU:er.

Distribution av trunkar med hög fibertäthet
Distribution av trunkar med hög fibertäthet

Konsolidering av tusentals rackfibrer i högdensitetstrunkar för luftflödesrensning, snabb installation och minimal användning av utrymme.

Vätskekylning
Vätskekylning

Vätskekylda kallplattor stabiliserar fackmiljön, vilket gör att OSFP-transceivers effektivt kan avleda värme via kylflänsar.

Technical FAQ

+ Hur håller SU-antalet sig hanterbart med 9 216 fibrer?
Genom att använda en hierarkisk kablagearkitektur. Trunkar med hög fibertäthet ersätter tusentals individuella MPO-patchkablar, vilket minskar den fysiska volymen och förhindrar kylningshinder.
+ Vad är '5:3 Blockeringsfaktorn' i lagringsnätverket?
Till skillnad från det icke-blockerande (1:1) beräkningsnätverket är lagringsnätverket medvetet översubskriberat. Detta minskar fiberkostnaderna och komplexiteten samtidigt som det uppfyller kravet på 40 GB/s per nod för lagring. Utrullning använder ofta NVIDIA-kompatibla MPO-patchkablar.
+ Varför är det interna NVLink-nätverket fiberfritt?
NVIDIA använder en passiv kopparbackplane och kabelkassetter inom NVL72-racket. Detta eliminerar tusentals optiska transceivers och fibrer, vilket avsevärt minskar strömförbrukning och latens. Optisk fiber är reserverad för scale-out beräkningsnätverket.
+ Vad händer när vi skalar upp till 16 Scalable Units?
Vid 16-SU-skalan (9 216 GPU:er) når det totala antalet aktiva fibrer för enbart beräkningsnätverket 18 432 strängar. Att hantera denna densitet kräver högdensitetshöljen designade specifikt för optisk fiber med hög fibertäthet och centraliserade kärngruppsomkopplingsarkitekturer.
+ Varför används MPO-8 istället för standard MPO-12?
Moderna 400G NDR och 800G XDR transceivers använder 4- eller 8-fältiga parallella optik. En 8-fiber MPO-justering matchar perfekt 4x Tx och 4x Rx-konfigurationen. Att använda 8-fiber aktiva MPO-trunkar eliminerar ‘mörka’ eller oanvända fibrer inom klusternätverket.
+ Vad är vikten av APC (Angled Physical Contact) polering?
Höghastighets 100G-PAM4-signaler är extremt känsliga för bakåtreflektioner. Den 8-gradiga vinkeln på en APC-kontakt säkerställer att reflekterat ljus absorberas i fiberklädnaden, vilket bibehåller den höga optiska returförlusten (ORL) som krävs för felfri AI-träning.
+ Hur påverkar fibertäthet vätskekylda AI-hallar?
Även med vätskekylda brickor måste luften fortfarande cirkulera för att hantera sekundärvärme. Att använda SmartRibbon-kablar med hög densitet minskar kabeldiametern avsevärt, vilket säkerställer att den fysiska kabeldragningen inte hindrar luftflödet eller vätskekylningsfördelare.
+ Vilka är avståndsrestriktionerna för kablage på SU-nivå?
Multimode (OM4/OM5) är begränsad till 50 meter för 400G/800G. För centraliserade Spine-till-Core-länkar som överskrider detta är Singlemode G.657.A1 fiber obligatorisk för att stödja längre räckvidd utan signalförsämring.
+ Kan jag använda vanliga utomhuskablar för AI-datacenter-backbones?
Nej. Inomhus AI-hallar kräver LSZH (Low Smoke Zero Halogen), Riser eller Plenum för att uppfylla de nödvändiga brandsäkerhetsbestämmelserna beroende på lokala föreskrifter. För högdensitetsvägar ger specialiserade SlimCORE inomhuskablar det nödvändiga antalet strängar med reducerad diameter.
+ Vad är fördelen med fabriksmonterade pigtails i SU?
MPO-kord optiska fiberpigtails möjliggör snabb massafusionssplicing på Spine- eller Core-lagret. Denna fabrikskontrollerade terminering i ena änden ger fördelarna med förterminering, medan den ‘stumma’ änden möjliggör flexibilitet att anpassa till önskad längd på plats.

Designa din AI-fabrik

ScaleFibre levererar förterminerade kablagelösningar för NVIDIA DGX SuperPOD-distributioner.

Kontakta oss

Få detaljer om trunkar med hög fibertäthet för din NVIDIA DGX SU.

Dela: