INFRASTRUKTUR-ARCHITEKTUR

NVIDIA GB200 NVL72 Infrastruktur und MPO-8 APC Verkabelung für skalierbare Einheiten

Dekonstruktion der Verkabelungsarchitektur einer Blackwell Scalable Unit (SU), wo 8 Racks in 9.216 aktive Glasfaserstränge münden.

Die DGX GB200 Scalable Unit (SU) stellt einen großen Wandel in der Rechenzentrumsarchitektur dar. Die SU ist eine vereinheitlichte 576-GPU-Einheit, die über 9.216 aktive Glasfaserstränge miteinander verbunden ist. ScaleFibre liefert die präzisionsterminierten Trunks, die zur Bewältigung dieser Dichte erforderlich sind.

Die 4 physischen SuperPOD-Fabrics

NVIDIA unterteilt die SU in verschiedene physische Schichten, um den GPU-Verkehr zu isolieren.

MN-NVL (NVLink 5)

Scale-Up

Das ‘interne’ Rack-Netzwerk, das 72 GPUs mit 1,8 TB/s verbindet.

  • Keine optische Faser
  • Passive Kupfer-Backplane
  • Blindsteckverbinder

Compute InfiniBand

Scale-Out

Das primäre ‘Ost-West’-Fabric für massives Multi-Node-Training.

  • 4.608 aktive Fasern pro SU
  • Rail-optimierte Topologie
  • Quantum-3/Quantum-2

Speicher & In-Band

Frontend

Ethernet-basiertes Fabric für Hochgeschwindigkeits-Datenerfassung und -Bereitstellung.

  • 5:3 Blockierungsfaktor
  • BlueField-3 DPU Offload
  • VXLAN/RoCE-Unterstützung

OOB Management

Steuerungsebene

Das isolierte Netzwerk für Hardware-Telemetrie, BMC und PDU-Management.

  • RJ45/Cat6 Kupfer
  • SN2201 Switch-Tier
  • Physische Air-Gap-Sicherheit

Exascale SU-Metriken

Eine 8-Rack Scalable Unit stellt den grundlegenden Baustein der NVIDIA AI Factory dar.

9,216

Aktive Fasern pro SU

4,608

Nur-Rechen-Stränge

5:3

Speicher-Blockierungsverhältnis

400G/800G

Native Portgeschwindigkeiten

Die drei Ebenen der SU-Konnektivität

1
Ebene A: Server-zu-Leaf

1.152 Fasern pro Rack unter Verwendung von Hochfaser-Trunks oder Jumpern zur Verbindung von NVL72-Knoten mit Leaf-Switches.

2
Ebene B: Leaf-zu-Spine

Aggregieren von Rail-ausgerichtetem Datenverkehr innerhalb der SU unter Verwendung von 1:1 nicht-blockierenden Links für Compute.

3
Ebene C: Spine-zu-Core

Skalierung über die SU hinaus zu einem zentralen Core-Bereich unter Verwendung von Hochfaser-Trunks.

Herkömmliche Patching-Methoden (Punkt-zu-Punkt)

  • ✕
    Manuelle Komplexität: Erfordert 9.216 einzelne Patchkabel pro 8-Rack-Block.
  • ✕
    Luftstrombehinderung: Dichte Kabelbündel blockieren die Abluftwege der Flüssigkeitskühlung.
  • ✕
    Risikoprofil: Hohe Wahrscheinlichkeit von ‘gekreuzten Leitungen’ beim manuellen 1:1-Patching.
  • ✕
    Implementierungszeit: Über 115 Stunden für manuelle Verkabelung und Beschriftung pro SU.

Modulare Hochfaserzahl-Trunkverkabelung

  • ✓
    Plug-and-Play: Konsolidiert Tausende von Fasern in vor-terminierten, maßgeschneiderten 128F/144F/256F/288F/576F-Trunks.
  • ✓
    Thermische Optimierung: Kabel mit kleinem Durchmesser maximieren den Luftstrom in dichten Racks.
  • ✓
    Wegeffizienz: Konsolidiert 1.152 aktive Fasern pro Rack in MPO-Backbones mit hoher Faserzahl.
  • ✓
    Installationsprofil: Schnelle Bereitstellung mittels vor-terminierter, werkseitig getesteter Baugruppen.

Wachstum der aktiven Fasern: Knoten zu vollständigem SuperPOD

Verkabelungskomplexität
9.216 aktive Fasern pro SU erfordern modulare Hochfaser-Trunks, um luftstromblockierendes 'Kabelchaos' zu vermeiden.

Scalable Unit visualisiert

Der 8-Rack Compute Block
Der 8-Rack Compute Block

Eine NVIDIA GB200 SU (Scalable Unit) besteht aus 8 Racks, die jeweils ein DGX GB200 NVL72 System mit 72 GPUs beherbergen.

Hochfaser-Trunk-Verteilung
Hochfaser-Trunk-Verteilung

Konsolidierung Tausender Rack-Fasern in hochdichte Trunks zur Freihaltung des Luftstroms, schnellen Installation und minimalen Kabelwegnutzung.

Flüssigkeitskühlung
Flüssigkeitskühlung

Flüssigkeitsgekühlte Cold Plates stabilisieren die Tray-Umgebung, wodurch OSFP-Transceiver Wärme über mitlaufende Kühlkörper effektiv abführen können.

Technical FAQ

+ Wie bleibt die SU-Anzahl bei 9.216 Fasern handhabbar?
Durch die Verwendung einer gestuften Verkabelungshierarchie. Hochfaser-Trunks ersetzen Tausende einzelner MPO-Patchkabel, wodurch das physikalische Volumen reduziert und Kühlhindernisse vermieden werden.
+ Was ist der '5:3 Blockierungsfaktor' im Storage-Fabric?
Im Gegensatz zum nicht-blockierenden (1:1) Compute-Fabric ist das Speichernetzwerk absichtlich überzeichnet. Dies reduziert Faserkosten und Komplexität, während die Anforderung von 40 GB/s pro Knoten für den Speicher erfüllt wird. Die Bereitstellung erfolgt häufig mit NVIDIA-kompatiblen MPO-Patchkabeln.
+ Warum ist das interne NVLink-Fabric faserfrei?
NVIDIA verwendet eine passive Kupfer-Backplane und Kabelkartuschen innerhalb des NVL72-Racks. Dies eliminiert Tausende optischer Transceiver und Fasern, wodurch Stromverbrauch und Latenz erheblich reduziert werden. Optische Fasern sind für das Scale-out Compute Fabric reserviert.
+ Was passiert, wenn wir auf 16 skalierbare Einheiten skalieren?
Bei einer Skalierung von 16 SUs (9.216 GPUs) erreicht die Gesamtzahl der aktiven Fasern allein für das Compute-Fabric 18.432 Stränge. Die Bewältigung dieser Dichte erfordert Gehäuse mit hoher Dichte, die speziell für optische Fasern mit hoher Anzahl und zentralisierte Core-Group-Switching-Architekturen entwickelt wurden.
+ Warum wird MPO-8 anstelle des Standard-MPO-12 verwendet?
Moderne 400G NDR- und 800G XDR-Transceiver verwenden 4- oder 8-spurige parallele Optiken. Eine 8-Faser-MPO-Ausrichtung passt perfekt zur 4x Tx- und 4x Rx-Konfiguration. Die Verwendung von 8-Faser aktiven MPO-Trunks eliminiert ‘dunkle’ oder verschwendete Fasern innerhalb des Cluster-Fabric.
+ Welche Bedeutung hat die APC (Angled Physical Contact) Politur?
Hochgeschwindigkeits-100G-PAM4-Signalisierung ist extrem empfindlich gegenüber Rückreflexionen. Der 8-Grad-Winkel eines APC-Steckers stellt sicher, dass reflektiertes Licht in den Fasermantel absorbiert wird, wodurch der hohe Optical Return Loss (ORL) aufrechterhalten wird, der für fehlerfreies AI-Training erforderlich ist.
+ Wie beeinflusst die Faserdichte flüssigkeitsgekühlte AI-Hallen?
Auch bei flüssigkeitsgekühlten Trays muss noch Luft zirkulieren, um Sekundärwärme zu managen. Die Verwendung von hochdichten SmartRibbon-Kabeln reduziert den Kabeldurchmesser erheblich und stellt sicher, dass die physikalische Verkabelung den Luftstrom oder die Flüssigkeitskühlungsverteiler nicht behindert.
+ Was sind die Entfernungsbeschränkungen für SU-Level-Verkabelung?
Multimode (OM4/OM5) ist auf 50 Meter für 400G/800G beschränkt. Für zentralisierte Spine-zu-Core-Verbindungen, die diese Entfernung überschreiten, ist Singlemode G.657.A1 Faser zwingend erforderlich, um größere Reichweiten ohne Signalverschlechterung zu unterstützen.
+ Kann ich Standard-Außenkabel für AI-Rechenzentrums-Backbones verwenden?
Nein. Innenbereiche von AI-Hallen erfordern LSZH (Low Smoke Zero Halogen), Riser oder Plenum, um die erforderlichen Brandschutzvorschriften je nach lokalen Bestimmungen zu erfüllen. Für hochdichte Kabelwege bieten spezielle SlimCORE Innenkabel die notwendige Faseranzahl in reduziertem Durchmesser.
+ Was ist der Vorteil von werkseitig terminierten Pigtails in der SU?
MPO-Kabel-Lichtwellenleiter-Pigtails ermöglichen ein schnelles Massen-Fusionsspleißen auf der Spine- oder Core-Ebene. Diese werkseitig kontrollierte Terminierung an einem Ende bietet die Vorteile einer Vor-Terminierung, während das ‘stumpfe’ Ende Flexibilität für die Anpassung an die vor Ort benötigte Länge bietet.

Architektieren Sie Ihre AI-Fabrik

ScaleFibre liefert vor-terminierte Verkabelungslösungen für NVIDIA DGX SuperPOD-Implementierungen.

Kontakt aufnehmen

Erhalten Sie Details zu Hochfaser-Trunks für Ihre NVIDIA DGX SU.

Teilen: