ARCHITEKTURA INFRASTRUKTURY

Infrastruktura NVIDIA GB200 NVL72 i okablowanie MPO-8 APC dla jednostek skalowalnych

Analiza architektury okablowania skalowalnej jednostki Blackwell (SU), gdzie 8 szaf łączy się w 9 216 aktywnych włókien światłowodowych.

Skalowalna jednostka DGX GB200 (SU) stanowi dużą zmianę w architekturze centrów danych. SU to zunifikowana jednostka z 576 procesorami graficznymi, połączona za pomocą 9 216 aktywnych włókien światłowodowych. ScaleFibre dostarcza precyzyjnie zarobione kable trunk, niezbędne do zarządzania tą gęstością.

Cztery fizyczne sieci SuperPOD

NVIDIA dzieli SU na odrębne warstwy fizyczne w celu izolacji ruchu GPU.

MN-NVL (NVLink 5)

Skalowanie w górę

„Wewnętrzna” sieć szafy łącząca 72 procesory graficzne z prędkością 1,8 TB/s.

  • Zero włókien optycznych
  • Pasywna miedziana płyta montażowa (backplane)
  • Złącza typu „blind-mate”

InfiniBand obliczeniowy

Skalowanie w poziomie

Główna sieć „Wschód-Zachód” do masowego szkolenia wielowęzłowego.

  • 4 608 aktywnych włókien na SU
  • Topologia zoptymalizowana pod kątem szyn
  • Quantum-3/Quantum-2

Pamięć masowa i In-Band

Frontend

Sieć oparta na Ethernet do szybkiego pozyskiwania i udostępniania danych.

  • Współczynnik blokowania 5:3
  • Odciążanie DPU BlueField-3
  • Obsługa VXLAN/RoCE

Zarządzanie OOB

Płaszczyzna sterowania

Izolowana sieć do telemetrii sprzętu, zarządzania BMC i PDU.

  • Miedź RJ45/Cat6
  • Warstwa przełączników SN2201
  • Bezpieczeństwo dzięki fizycznej separacji (air gap)

Metryki Exascale SU

8-szafowa jednostka skalowalna stanowi podstawowy element konstrukcyjny fabryki sztucznej inteligencji NVIDIA.

9 216

Aktywne włókna na SU

4 608

Włókna wyłącznie obliczeniowe

5:3

Współczynnik blokowania pamięci masowej

400G/800G

Natywne prędkości portów
Product Image
Polecane rozwiązanie

Kable magistralne MPO o dużej liczbie włókien

Zestawy magistrali MPO o dużej liczbie włókien, zawierające od 48 do 576 włókien. Umożliwiają szybkie wdrożenie na dużą skalę przy mniejszym nakładzie pracy i minimalnych kosztach instalacji.

Zobacz szczegóły kabli trunk MPO o dużej liczbie włókien

Trzy poziomy łączności SU

1
Poziom A: Serwer-do-Leaf

1 152 włókna na szafę, wykorzystujące kable trunk o dużej liczbie włókien lub patchcordy do łączenia węzłów NVL72 z przełącznikami Leaf.

2
Poziom B: Leaf-do-Spine

Agregacja ruchu zgodnego z szynami w obrębie SU za pomocą łączy 1:1 bez blokowania dla obliczeń.

3
Poziom C: Spine-do-Core

Skalowanie poza SU do scentralizowanego obszaru rdzenia za pomocą kabli trunk o dużej liczbie włókien.

Tradycyjne połączenia krosowe (punkt-punkt)

  • ✕
    Złożoność ręczna: Wymaga 9 216 pojedynczych patchcordów na blok 8 szaf.
  • ✕
    Zablokowanie przepływu powietrza: Gęste wiązki kabli blokują drogi odprowadzania ciepła z chłodzenia cieczą.
  • ✕
    Profil ryzyka: Wysokie prawdopodobieństwo „skrzyżowanych szyn” podczas ręcznego połączenia 1:1.
  • ✕
    Czas wdrożenia: Ponad 115 godzin na ręczne prowadzenie i etykietowanie na SU.

Modułowe okablowanie trunk o dużej liczbie włókien

  • ✓
    Plug-and-Play: Konsoliduje tysiące włókien w wstępnie zarobione, dostosowane kable trunk 128F/144F/256F/288F/576F.
  • ✓
    Optymalizacja termiczna: Kable o małej średnicy maksymalizują przepływ powietrza w gęsto upakowanych szafach.
  • ✓
    Efektywność trasowania: Konsoliduje 1 152 aktywne włókna na szafę w kable trunk MPO o dużej liczbie włókien.
  • ✓
    Profil instalacji: Szybkie wdrożenie dzięki wstępnie zarobionym, fabrycznie testowanym zestawom.

Wzrost aktywnych włókien: od węzła do pełnego SuperPOD

Złożoność okablowania
9 216 aktywnych włókien na SU wymaga modułowych kabli trunk o dużej liczbie włókien, aby uniknąć „kablowego chaosu” blokującego przepływ powietrza.

Wizualizacja jednostki skalowalnej

8-szafowy blok obliczeniowy
8-szafowy blok obliczeniowy

NVIDIA GB200 SU (Scalable Unit) składa się z 8 szaf, z których każda mieści system DGX GB200 NVL72 z 72 procesorami graficznymi.

Dystrybucja kabli trunk o dużej liczbie włókien
Dystrybucja kabli trunk o dużej liczbie włókien

Konsolidacja tysięcy włókien szafowych w kable trunk o wysokiej gęstości w celu zapewnienia swobodnego przepływu powietrza, szybkiej instalacji i minimalnego wykorzystania tras kablowych.

Chłodzenie cieczą
Chłodzenie cieczą

Płyty chłodzące cieczą stabilizują środowisko tacy, umożliwiając transceiverom OSFP efektywne odprowadzanie ciepła za pomocą radiatorów.

Techniczne FAQ

+ Jak udaje się zarządzać liczbą 9 216 włókien w SU?
Dzięki zastosowaniu hierarchii okablowania warstwowego. Kable trunk o dużej liczbie włókien zastępują tysiące pojedynczych patchcordów MPO, zmniejszając fizyczną objętość i zapobiegając blokowaniu przepływu powietrza w systemie chłodzenia.
+ Co oznacza 'współczynnik blokowania 5:3' w sieci pamięci masowej?
W przeciwieństwie do sieci obliczeniowej bez blokowania (1:1), sieć pamięci masowej jest celowo nadsubskrybowana (oversubscribed). Zmniejsza to koszty i złożoność okablowania, jednocześnie spełniając wymagania 40 GB/s na węzeł dla pamięci masowej. Wdrożenie często wykorzystuje kable krosowe MPO kompatybilne z NVIDIA.
+ Dlaczego wewnętrzna sieć NVLink jest pozbawiona światłowodów?
NVIDIA wykorzystuje pasywną miedzianą płytę montażową i kartridże kablowe w szafie NVL72. Eliminuje to tysiące transceiverów optycznych i włókien, znacznie zmniejszając zużycie energii i opóźnienia. Włókno optyczne jest zarezerwowane dla sieci obliczeniowej skalującej się w poziomie.
+ Co się dzieje, gdy skalujemy do 16 jednostek skalowalnych?
Przy skali 16 SU (9 216 procesorów graficznych) całkowita liczba aktywnych włókien dla samej sieci obliczeniowej osiąga 73 728. Zarządzanie tą gęstością wymaga obudów o wysokiej gęstości zaprojektowanych specjalnie dla światłowodów o dużej liczbie włókien i scentralizowanych architektur przełączania grup rdzeniowych.
+ Dlaczego zamiast standardowego MPO-12 używa się MPO-8?
Nowoczesne transceivery 400G NDR i 800G XDR wykorzystują optykę równoległą 4- lub 8-torową. Układ 8-włóknowego MPO idealnie pasuje do konfiguracji 4x Tx i 4x Rx. Użycie aktywnych 8-włóknowych kabli trunk MPO eliminuje „ciemne” lub niewykorzystane włókna w sieci klastra.
+ Jakie jest znaczenie polerowania APC (Angled Physical Contact)?
Szybka sygnalizacja 100G-PAM4 jest niezwykle wrażliwa na odbicia wsteczne. Kąt 8 stopni złącza APC zapewnia absorpcję odbitego światła przez płaszcz włókna, utrzymując wysokie tłumienie odbiciowe (ORL) wymagane do bezbłędnego treningu AI.
+ Jak gęstość włókien wpływa na hale AI chłodzone cieczą?
Nawet w przypadku tac chłodzonych cieczą, powietrze nadal musi krążyć, aby zarządzać ciepłem wtórnym. Użycie kabli SmartRibbon o wysokiej gęstości znacznie zmniejsza średnicę kabla, zapewniając, że fizyczne okablowanie nie będzie utrudniać przepływu powietrza ani kolektorów chłodzenia cieczą.
+ Jakie są ograniczenia odległości dla okablowania na poziomie SU?
Światłowód wielomodowy (OM4/OM5) jest ograniczony do 50 metrów dla 400G/800G. W przypadku scentralizowanych łączy Spine-to-Core, które przekraczają tę odległość, wymagany jest światłowód jednomodowy G.657.A1 w celu zapewnienia większego zasięgu bez degradacji sygnału.
+ Czy mogę używać standardowych kabli zewnętrznych do szkieletu centrum danych AI?
Nie. Wewnętrzne hale AI wymagają kabli LSZH (Low Smoke Zero Halogen), Riser lub Plenum, aby spełnić wymagane przepisy bezpieczeństwa pożarowego, w zależności od lokalnych regulacji. W przypadku tras o dużej gęstości, specjalistyczne kable wewnętrzne SlimCORE zapewniają wymaganą liczbę włókien w zmniejszonej średnicy.
+ Jakie są korzyści z fabrycznie zarobionych pigtaili w SU?
Pigtaile światłowodowe MPO umożliwiają szybkie spawanie masowe w warstwie Spine lub Core. To fabryczne zakończenie na jednym końcu zapewnia korzyści z prefabrykacji, podczas gdy „tępy” koniec pozwala na elastyczne dopasowanie do wymaganej długości na miejscu.

Zaprojektuj swoją fabrykę AI

ScaleFibre dostarcza wstępnie zarobione rozwiązania kablowe dla wdrożeń NVIDIA DGX SuperPOD.

Skontaktuj się z nami

Uzyskaj szczegółowe informacje na temat kabli trunk o dużej liczbie włókien dla Twojej jednostki NVIDIA DGX SU.