ARCHITETTURA DELL'INFRASTRUTTURA

Infrastruttura NVIDIA GB200 NVL72 e cablaggio MPO-8 APC per le Scalable Unit

Analisi dell'architettura di cablaggio di una Scalable Unit (SU) Blackwell, in cui 8 rack convergono in 9.216 fibre attive.

La Scalable Unit (SU) DGX GB200 rappresenta una svolta importante nell’architettura dei data center. La SU è un’entità unificata da 576 GPU interconnesse da 9.216 fibre attive. ScaleFibre fornisce i trunk terminati con precisione necessari per gestire questa densità.

Le 4 fabric fisiche del SuperPOD

NVIDIA suddivide la SU in livelli fisici distinti per isolare il traffico delle GPU.

MN-NVL (NVLink 5)

Scale-up

La rete ‘interna’ del rack che collega 72 GPU a 1,8 TB/s.

  • Zero fibra ottica
  • Backplane passivo in rame
  • Connettori blind-mate

InfiniBand di calcolo

Scale-out

La fabric ’est-ovest’ principale per l’addestramento multinodo su larga scala.

  • 4.608 fibre attive per SU
  • Topologia ottimizzata per rail
  • Quantum-3/Quantum-2

Storage e in-band

Frontend

Fabric basata su Ethernet per l’acquisizione e il provisioning dei dati ad alta velocità.

  • Fattore di blocking 5:3
  • Offload su DPU BlueField-3
  • Supporto VXLAN/RoCE

Gestione OOB

Control plane

La rete isolata per telemetria hardware, BMC e gestione delle PDU.

  • Rame RJ45/Cat6
  • Livello di switch SN2201
  • Sicurezza tramite isolamento fisico (air gap)

Metriche della SU exascale

Una Scalable Unit da 8 rack rappresenta l'elemento costitutivo fondamentale dell'AI Factory di NVIDIA.

9.216

Fibre attive per SU

4.608

Fibre dedicate solo al calcolo

5:3

Rapporto di blocking dello storage

400G/800G

Velocità native delle porte
Product Image
Soluzione in evidenza

Cavi trunk MPO ad alto numero di fibre

Assemblaggi trunk MPO ad alto numero di fibre, da 48 a 576 fibre. Consentono un'implementazione rapida e su larga scala con manodopera ridotta e costi di installazione minimi.

Vedi i dettagli dei trunk MPO ad alto numero di fibre

I tre livelli di connettività della SU

1
Livello A: server-leaf

1.152 fibre per rack tramite trunk o jumper ad alto numero di fibre per collegare i nodi NVL72 agli switch leaf.

2
Livello B: leaf-spine

Aggregazione del traffico allineato ai rail all’interno della SU tramite collegamenti 1:1 non bloccanti per il calcolo.

3
Livello C: spine-core

Scalabilità oltre la SU verso un’area core centralizzata tramite trunk ad alto numero di fibre.

Patching tradizionale (punto-punto)

  • ✕
    Complessità manuale: richiede 9.216 bretelle singole per ogni blocco da 8 rack.
  • ✕
    Ostruzione del flusso d’aria: i fasci di cavi densi bloccano i percorsi di scarico del raffreddamento a liquido.
  • ✕
    Profilo di rischio: elevata probabilità di ‘rail incrociati’ durante il patching manuale 1:1.
  • ✕
    Tempi di installazione: oltre 115 ore per instradamento ed etichettatura manuali per ogni SU.

Trunk modulari ad alto numero di fibre

  • ✓
    Plug-and-play: consolida migliaia di fibre in trunk preterminati su misura da 128F/144F/256F/288F/576F.
  • ✓
    Ottimizzazione termica: i cavi di diametro ridotto massimizzano il flusso d’aria nei rack ad alta densità.
  • ✓
    Efficienza dei percorsi: consolida 1.152 fibre attive per rack in dorsali MPO ad alto numero di fibre.
  • ✓
    Profilo di installazione: implementazione rapida tramite assemblaggi preterminati e testati in fabbrica.

Crescita delle fibre attive: dal nodo al SuperPOD completo

Complessità del cablaggio
Con 9.216 fibre attive per SU servono trunk modulari ad alto numero di fibre per evitare il 'caos di cavi' che ostruisce il flusso d'aria.

La Scalable Unit in dettaglio

Il blocco di calcolo da 8 rack
Il blocco di calcolo da 8 rack

Una SU (Scalable Unit) NVIDIA GB200 è composta da 8 rack, ciascuno dei quali ospita un sistema DGX GB200 NVL72 con 72 GPU.

Distribuzione con trunk ad alto numero di fibre
Distribuzione con trunk ad alto numero di fibre

Consolidamento di migliaia di fibre dei rack in trunk ad alta densità per liberare il flusso d’aria, velocizzare l’installazione e ridurre al minimo l’occupazione dei percorsi.

Raffreddamento a liquido
Raffreddamento a liquido

Le piastre fredde raffreddate a liquido stabilizzano l’ambiente del tray, consentendo ai transceiver OSFP di dissipare efficacemente il calore tramite dissipatori integrati.

FAQ tecniche

+ Come si mantiene gestibile una SU con 9.216 fibre?
Utilizzando una gerarchia di cablaggio a livelli. I trunk ad alto numero di fibre sostituiscono migliaia di singole bretelle MPO, riducendo il volume fisico ed evitando ostruzioni al raffreddamento.
+ Che cos'è il 'fattore di blocking 5:3' nella fabric di storage?
A differenza della fabric di calcolo non bloccante (1:1), la rete di storage è volutamente sovrasottoscritta. Ciò riduce costi e complessità del cablaggio in fibra, soddisfacendo al contempo il requisito di 40GB/s per nodo per lo storage. L’implementazione utilizza spesso bretelle MPO compatibili NVIDIA.
+ Perché la fabric NVLink interna non utilizza fibra?
NVIDIA utilizza un backplane passivo in rame e cartucce di cavi all’interno del rack NVL72. Ciò elimina migliaia di transceiver ottici e fibre, riducendo significativamente consumi energetici e latenza. La fibra ottica è riservata alla fabric di calcolo scale-out.
+ Cosa succede quando si scala a 16 Scalable Unit?
Alla scala di 16 SU (9.216 GPU), il numero totale di fibre attive per la sola fabric di calcolo raggiunge 73.728. Gestire questa densità richiede contenitori ad alta densità progettati specificamente per cavi in fibra ottica ad alto numero di fibre e per architetture di switching con core group centralizzati.
+ Perché si utilizza l'MPO-8 invece dell'MPO-12 standard?
I moderni transceiver 400G NDR e 800G XDR utilizzano ottiche parallele a 4 o 8 lane. Un allineamento MPO a 8 fibre corrisponde perfettamente alla configurazione 4x Tx e 4x Rx. L’utilizzo di trunk MPO a 8 fibre attive elimina le fibre ‘spente’ o inutilizzate all’interno della fabric del cluster.
+ Qual è l'importanza della lucidatura APC (Angled Physical Contact)?
La segnalazione 100G-PAM4 ad alta velocità è estremamente sensibile alle riflessioni. L’angolo di 8 gradi di un connettore APC fa sì che la luce riflessa venga assorbita nel cladding della fibra, mantenendo l’elevata perdita di ritorno ottica (ORL) necessaria per un addestramento dell’IA privo di errori.
+ In che modo la densità delle fibre incide sulle sale IA raffreddate a liquido?
Anche con tray raffreddati a liquido, l’aria deve comunque circolare per gestire il calore secondario. L’utilizzo di cavi SmartRibbon ad alta densità riduce significativamente il diametro del cavo, garantendo che il cablaggio fisico non ostruisca il flusso d’aria o i collettori del raffreddamento a liquido.
+ Quali sono i limiti di distanza per il cablaggio a livello di SU?
La fibra multimodale (OM4/OM5) è limitata a 50 metri per 400G/800G. Per i collegamenti centralizzati spine-core che superano questa distanza, la fibra monomodale G.657.A1 è indispensabile per supportare distanze maggiori senza degradazione del segnale.
+ Posso utilizzare cavi standard per esterni per le dorsali dei data center IA?
No. Le sale IA interne richiedono cavi LSZH (Low Smoke Zero Halogen), Riser o Plenum per soddisfare le norme di sicurezza antincendio in base alle normative locali. Per i percorsi ad alta densità, i cavi in fibra per interni SlimCORE specializzati offrono il numero di fibre necessario in un diametro ridotto.
+ Qual è il vantaggio dei pigtail terminati in fabbrica nella SU?
I pigtail in fibra ottica con cordone MPO consentono una rapida giunzione a fusione multipla (mass-fusion) a livello spine o core. La terminazione controllata in fabbrica su un’estremità offre i vantaggi della pre-terminazione, mentre l’estremità ’libera’ consente la flessibilità di adattare la lunghezza richiesta in loco.

Progettate la vostra AI Factory

ScaleFibre fornisce soluzioni di cablaggio preterminato per le implementazioni NVIDIA DGX SuperPOD.

Contattateci

Richiedete i dettagli sui trunk ad alto numero di fibre per la vostra SU NVIDIA DGX.