# Infrastruktura NVIDIA GB200 NVL72 i okablowanie MPO-8 APC dla jednostek skalowalnych

Skalowalna jednostka DGX GB200 (SU) stanowi dużą zmianę w architekturze centrów danych. SU to zunifikowana jednostka z 576 procesorami graficznymi, połączona za pomocą 9 216 aktywnych włókien światłowodowych. ScaleFibre dostarcza precyzyjnie zarobione kable szkieletowe, niezbędne do zarządzania tą gęstością.


---


## Cztery fizyczne sieci SuperPOD
NVIDIA dzieli SU na odrębne warstwy fizyczne w celu izolacji ruchu GPU.

### MN-NVL (NVLink 5) [Skalowanie w górę]

* „Wewnętrzna” sieć szafy łącząca 72 procesory graficzne z prędkością 1,8 TB/s.
**Features:**
  - Zero włókien optycznych
  - Pasywna magistrala miedziana
  - Złącza typu „blind-mate”

### Compute InfiniBand [Skalowanie w poziomie]

* Główna sieć „Wschód-Zachód” do masowego szkolenia wielowęzłowego.
**Features:**
  - 4 608 aktywnych włókien na SU
  - Topologia zoptymalizowana pod kątem szyn
  - Quantum-3/Quantum-2

### Storage & In-Band [Frontend]

* Sieć oparta na Ethernet do szybkiego pozyskiwania i udostępniania danych.
**Features:**
  - Współczynnik blokowania 5:3
  - Odciążanie DPU BlueField-3
  - Obsługa VXLAN/RoCE

### OOB Management [Płaszczyzna sterowania]

* Izolowana sieć do telemetrii sprzętu, zarządzania BMC i PDU.
**Features:**
  - Miedź RJ45/Cat6
  - Warstwa przełączników SN2201
  - Fizyczna separacja bezpieczeństwa


## Metryki Exascale SU
8-szafowa jednostka skalowalna stanowi podstawowy element konstrukcyjny fabryki sztucznej inteligencji NVIDIA.

| Metric | Value |
| :--- | :--- |
| Aktywne włókna na SU | **9,216** |
| Włókna wyłącznie obliczeniowe | **4,608** |
| Współczynnik blokowania pamięci | **5:3** |
| Natywne prędkości portów | **400G/800G** |
## Trzy poziomy łączności SU
1. **Poziom A: Serwer-do-Leaf**: 1 152 włókna na szafę, wykorzystujące kable szkieletowe o wysokiej gęstości lub patchcordy do łączenia węzłów NVL72 z przełącznikami Leaf.
2. **Poziom B: Leaf-do-Spine**: Agregacja ruchu zgodnego z szynami w obrębie SU za pomocą łączy 1:1 bez blokowania dla obliczeń.
3. **Poziom C: Spine-do-Core**: Skalowanie poza SU do scentralizowanego obszaru rdzenia za pomocą kabli szkieletowych o wysokiej gęstości.

## Comparison: Tradycyjne połączenia krosowe (punkt-punkt) vs. Modułowe okablowanie szkieletowe o wysokiej gęstości włókien

### Tradycyjne połączenia krosowe (punkt-punkt)
* Złożoność ręczna: Wymaga 9 216 pojedynczych patchcordów na blok 8 szaf.
* Zablokowanie przepływu powietrza: Gęste wiązki kabli blokują drogi odprowadzania ciepła z chłodzenia cieczą.
* Profil ryzyka: Wysokie prawdopodobieństwo „skrzyżowanych szyn” podczas ręcznego połączenia 1:1.
* Czas wdrożenia: Ponad 115 godzin na ręczne prowadzenie i etykietowanie na SU.

### Modułowe okablowanie szkieletowe o wysokiej gęstości włókien
* Plug-and-Play: Konsoliduje tysiące włókien w wstępnie zarobione, dostosowane kable szkieletowe 128F/144F/256F/288F/576F.
* Optymalizacja termiczna: Kable o małej średnicy maksymalizują przepływ powietrza w gęsto upakowanych szafach.
* Efektywność trasowania: Konsoliduje 1 152 aktywne włókna na szafę w szkielety MPO o wysokiej gęstości.
* Profil instalacji: Szybkie wdrożenie dzięki wstępnie zarobionym, fabrycznie testowanym zestawom.

## Expert Insight
> ""
> — **<no value>**, <no value>
## Technical FAQ
**Q: Jak udaje się zarządzać liczbą 9 216 włókien w SU?**
A: Dzięki zastosowaniu hierarchii okablowania warstwowego. [Kable szkieletowe o wysokiej gęstości włókien](/products/optical-cable-assemblies/mpo-trunks/high-fibre-count-mpo-trunks/) zastępują tysiące pojedynczych patchcordów MPO, zmniejszając fizyczną objętość i zapobiegając blokowaniu przepływu powietrza w systemie chłodzenia.

**Q: Co oznacza 'współczynnik blokowania 5:3' w sieci pamięci masowej?**
A: W przeciwieństwie do sieci obliczeniowej bez blokowania (1:1), sieć pamięci masowej jest celowo przeszacowana. Zmniejsza to koszty i złożoność okablowania, jednocześnie spełniając wymagania 40 GB/s na węzeł dla pamięci masowej. Wdrożenie często wykorzystuje [kable krosowe MPO kompatybilne z NVIDIA](/products/optical-cable-assemblies/mpo-trunks/nvidia-compatible-mpo-patch-cable-apc/).

**Q: Dlaczego wewnętrzna sieć NVLink jest pozbawiona światłowodów?**
A: NVIDIA wykorzystuje pasywną miedzianą płytę montażową i kartridże kablowe w szafie NVL72. Eliminuje to tysiące transceiverów optycznych i włókien, znacznie zmniejszając zużycie energii i opóźnienia. Włókno optyczne jest zarezerwowane dla [sieci obliczeniowej skalującej się w poziomie](/products/optical-cable-assemblies/mpo-trunks/nvidia-compatible-mpo-splitter-ndr/).

**Q: Co się dzieje, gdy skalujemy do 16 jednostek skalowalnych?**
A: Przy skali 16 SU (9 216 procesorów graficznych) całkowita liczba aktywnych włókien dla samej sieci obliczeniowej osiąga 18 432. Zarządzanie tą gęstością wymaga [obudów o wysokiej gęstości](/products/housings/high-fibre-count-housings/highstack-fixed-housings-for-high-count-optical-fibre/) zaprojektowanych specjalnie dla światłowodów o dużej liczbie włókien i scentralizowanych architektur przełączania grup rdzeniowych.

**Q: Dlaczego zamiast standardowego MPO-12 używa się MPO-8?**
A: Nowoczesne transceivery 400G NDR i 800G XDR wykorzystują optykę równoległą 4- lub 8-torową. Układ 8-włóknowego MPO idealnie pasuje do konfiguracji 4x Tx i 4x Rx. Użycie [aktywnych 8-włóknowych kabli szkieletowych MPO](/products/optical-cable-assemblies/mpo-trunks/small-fibre-count-mpo-trunks/) eliminuje „ciemne” lub niewykorzystane włókna w sieci klastra.

**Q: Jakie jest znaczenie polerowania APC (Angled Physical Contact)?**
A: Szybka sygnalizacja 100G-PAM4 jest niezwykle wrażliwa na odbicia wsteczne. Kąt 8 stopni [złącza APC](/products/optical-cable-assemblies/mpo-trunks/nvidia-compatible-mpo-patch-cable-apc/) zapewnia absorpcję odbitego światła przez płaszcz włókna, utrzymując wysokie tłumienie odbiciowe (ORL) wymagane do bezbłędnego treningu AI.

**Q: Jak gęstość włókien wpływa na hale AI chłodzone cieczą?**
A: Nawet w przypadku tac chłodzonych cieczą, powietrze nadal musi krążyć, aby zarządzać ciepłem wtórnym. Użycie [kabli SmartRibbon](/products/fibre-optic-cables/indoor-cables/smartribbon-flame-retardant-optical-fibre-cables/) o wysokiej gęstości znacznie zmniejsza średnicę kabla, zapewniając, że fizyczne okablowanie nie będzie utrudniać przepływu powietrza ani kolektorów chłodzenia cieczą.

**Q: Jakie są ograniczenia odległości dla okablowania na poziomie SU?**
A: Wielomodowe (OM4/OM5) jest ograniczone do 50 metrów dla 400G/800G. W przypadku scentralizowanych łączy Spine-to-Core, które przekraczają tę odległość, wymagane jest [światłowód jednomodowy G.657.A1](/products/fibre-optic-cables/indoor-cables/slimcore-indoor-optical-cables/slimcore-144-fibre-indoor-fibre-optic-cable/) w celu zapewnienia większego zasięgu bez degradacji sygnału.

**Q: Czy mogę używać standardowych kabli zewnętrznych do szkieletu centrum danych AI?**
A: Nie. Wewnętrzne hale AI wymagają kabli [LSZH (Low Smoke Zero Halogen)](/products/fibre-optic-cables/indoor-cables/slimcore-indoor-optical-cables/), Riser lub Plenum, aby spełnić wymagane przepisy bezpieczeństwa pożarowego, w zależności od lokalnych regulacji. W przypadku tras o dużej gęstości, specjalistyczne [kable wewnętrzne SlimCORE](/products/fibre-optic-cables/indoor-cables/slimcore-indoor-optical-cables/slimcore-288-fibre-indoor-fibre-optic-cable/) zapewniają wymaganą liczbę włókien w zmniejszonej średnicy.

**Q: Jakie są korzyści z fabrycznie zarobionych pigtaili w SU?**
A: [Pigtaile światłowodowe MPO](https://americas.scalefibre.com/en/products/optical-cable-assemblies/optical-fibre-pigtails/mpo-cord-optical-fibre-pigtails/) umożliwiają szybkie spawanie masowe w warstwie Spine lub Core. To fabryczne zakończenie na jednym końcu zapewnia korzyści z prefabrykacji, podczas gdy „tępy” koniec pozwala na elastyczne dopasowanie do wymaganej długości na miejscu.


## References