INFRASTRUKTUURIARKKITEHTUURI

NVIDIA GB200 NVL72 -infrastruktuuri ja MPO-8 APC-kaapelointi skaalattaville yksiköille

Blackwellin skaalattavan yksikön (SU) kaapelointiarkkitehtuurin purkaminen, jossa 8 telinettä yhdistyy 9 216 aktiiviseen kuituun.

DGX GB200 Scalable Unit (SU) edustaa suurta muutosta datakeskusarkkitehtuurissa. SU on yhtenäinen 576 GPU:n kokonaisuus, joka on yhdistetty 9 216 aktiivisen kuitusäikeen avulla. ScaleFibre tarjoaa tarkasti päätetyt runkokaapelit, joita tarvitaan tämän tiheyden hallintaan.

Neljä fyysistä SuperPOD-kangasta

NVIDIA jakaa SU:n erillisiin fyysisiin kerroksiin eristääkseen GPU-liikenteen.

MN-NVL (NVLink 5)

Skaalaa ylöspäin

Telineen ‘sisäinen’ verkko, joka yhdistää 72 GPU:ta nopeudella 1,8 TB/s.

  • Ei optista kuitua
  • Passiivinen kuparinen takalevy
  • Sokkoliittimet

Laskenta-InfiniBand

Skaalaa ulos

Ensisijainen ‘itä-länsi’-verkko massiiviseen monisolmuiseen harjoitteluun.

  • 4 608 aktiivista kuitua SU:ta kohti
  • Kisko-optimoiitu topologia
  • Quantum-3/Quantum-2

Tallennus ja In-Band

Etupää

Ethernet-pohjainen verkko nopeaa tiedonsyöttöä ja provisionointia varten.

  • 5:3 estoarvo
  • BlueField-3 DPU-siirto
  • VXLAN/RoCE-tuki

OOB-hallinta

Hallintataso

Eristetty verkko laitteistotelematiikalle, BMC:lle ja PDU-hallinnalle.

  • RJ45/Cat6 kupari
  • SN2201 kytkintaso
  • Fyysinen ilmarako-turvallisuus

Eksatason SU-mittarit

Kahdeksan telineen skaalattava yksikkö (SU) edustaa NVIDIA AI Factoryn perustavanlaatuista rakennuspalikkaa.

9,216

Aktiiviset kuidut SU:ta kohti

4,608

Vain laskentakuidut

5:3

Tallennustilan estosuhde

400G/800G

Natiivit porttinopeudet

SU-yhteyden kolme tasoa

1
Taso A: Palvelimesta lehtikytkimeen

1 152 kuitua telinettä kohti käyttäen suurikuituisia runkokaapeleita tai hyppyjohtoja NVL72-solmujen yhdistämiseen lehtikytkimiin.

2
Taso B: Lehtikytkimestä runkokytkimeen

Kiskoihin kohdistuvan liikenteen yhdistäminen SU:n sisällä käyttäen 1:1 estottomia linkkejä laskentaan.

3
Taso C: Runkokytkimestä ydinverkon kytkimeen

Skaalaaminen SU:n ulkopuolelle keskitettyyn ydinverkkoalueeseen suurikuituisten runkokaapeleiden avulla.

Perinteinen paikkaus (pisteestä pisteeseen)

  • ✕
    Manuaalinen monimutkaisuus: Vaatii 9 216 yksittäistä kytkentäkaapelia 8 telineen lohkoa kohti.
  • ✕
    Ilmavirran tukkeutuminen: Tiheät kaapelinippujen tukosnestekierron poistoreitit.
  • ✕
    Riskiprofiili: Suuri todennäköisyys “ristikkäisille kiskoille” manuaalisen 1:1-paikkauksen aikana.
  • ✕
    Käyttöönotttoaika: Yli 115 tuntia manuaaliseen reititykseen ja merkintään SU:ta kohti.

Modulaarinen suurikuituinen runkokaapelointi

  • ✓
    Plug-and-Play: Yhdistää tuhansia kuituja esipäätettyihin 128F/144F/256F/288F/576F räätälöityihin runkokaapeleihin.
  • ✓
    Lämpöoptimointi: Halkaisijaltaan pienet kaapelit maksimoivat ilmavirran tiheissä telineissä.
  • ✓
    Reittitehokkuus: Yhdistää 1 152 aktiivista kuitua telinettä kohti suurikuituisiin MPO-runkoverkkoihin.
  • ✓
    Asennusprofiili: Nopea käyttöönotto esipäätettyjen, tehtaalla testattujen kokoonpanojen avulla.

Aktiivisten kuitujen kasvu: Solmusta täyteen SuperPODiin

Kaapeloinnin monimutkaisuus
9 216 aktiivista kuitua SU:ta kohti edellyttää modulaarista suurikuituista runkokaapelointia ilmavirtaa estävän "kaapelikaaoksen" välttämiseksi.

Skaalattava yksikkö visualisoituna

8-telineen laskentalohko
8-telineen laskentalohko

NVIDIA GB200 SU (Skaalattava yksikkö) koostuu 8 telineestä, joista jokainen sisältää DGX GB200 NVL72 -järjestelmän 72 GPU:lla.

Suurikuituisen runkokaapeloinnin jakelu
Suurikuituisen runkokaapeloinnin jakelu

Tuhansien telinekuitujen yhdistäminen suuritiheyksisiin runkokaapeleihin ilmavirran varmistamiseksi, nopean asennuksen ja minimaalisen reittien käytön saavuttamiseksi.

Nestejäähdytys
Nestejäähdytys

Nestejäähdytteiset kylmälevyt vakauttavat alustan ympäristön, jolloin OSFP-lähetin-vastaanottimet voivat tehokkaasti poistaa lämpöä jäähdytyselementtien avulla.

Technical FAQ

+ Miten SU-kuitujen määrä pysyy hallittavissa 9 216 kuidulla?
Käyttämällä kerroksellista kaapelointihierarkiaa. Suurikuituiset runkokaapelit korvaavat tuhansia yksittäisiä MPO-kytkentäkaapeleita, vähentäen fyysistä tilavuutta ja estäen jäähdytysesteitä.
+ Mikä on '5:3 estokerroin' tallennusverkossa?
Toisin kuin estoton (1:1) laskentaverkko, tallennusverkko on tarkoituksella ylipanostettu. Tämä vähentää kuitukustannuksia ja monimutkaisuutta samalla kun se täyttää 40GB/s solmukohtaisen tallennustarpeen. Käyttöönotossa hyödynnetään usein NVIDIA-yhteensopivia MPO-kytkentäkaapeleita.
+ Miksi sisäinen NVLink-verkko on kuituvapaa?
NVIDIA käyttää passiivista kuparista takalevyä ja kaapelikoteloita NVL72-telineessä. Tämä eliminoi tuhansia optisia lähetin-vastaanottimia ja kuituja, vähentäen merkittävästi virrankulutusta ja viivettä. Optinen kuitu on varattu skaalautuvalle laskentaverkolle.
+ Mitä tapahtuu, kun skaalaamme 16 skaalattavaan yksikköön?
16 SU:n skaalassa (9 216 GPU:ta) pelkästään laskentaverkon aktiivisten kuitujen kokonaismäärä nousee 18 432:een säikeeseen. Tämän tiheyden hallinta edellyttää suuritiheyksisiä koteloita, jotka on suunniteltu erityisesti suurikuituisille optisille kuiduille ja keskitetyille ydinryhmän kytkentäarkkitehtuureille.
+ Miksi MPO-8:aa käytetään standardin MPO-12:n sijaan?
Nykyaikaiset 400G NDR- ja 800G XDR -lähetin-vastaanottimet käyttävät 4- tai 8-kaistaisia rinnakkaisoptiikoita. 8-kuituinen MPO-kohdistus vastaa 4x Tx ja 4x Rx -konfiguraatiota täydellisesti. 8-kuituisten aktiivisten MPO-runkokaapeleiden käyttö eliminoi ‘pimeät’ tai hukkaan menevät kuidut klusteriverkosta.
+ Mikä on APC (Angled Physical Contact) -kiillotuksen merkitys?
Nopea 100G-PAM4-signaalointi on erittäin herkkä takaisinheijastuksille. APC-liittimen 8 asteen kulma varmistaa, että heijastunut valo imeytyy kuidun kuoreen, ylläpitäen virheettömään tekoälykoulutukseen vaadittavan korkean optisen paluuhäviön (ORL).
+ Miten kuitutiheys vaikuttaa nestemäisillä jäähdytetyissä tekoälysaleissa?
Jopa nestemäisillä jäähdytetyillä alustoilla ilman on edelleen kierrettävä toissijaisen lämmön hallitsemiseksi. Suuritiheyksisten SmartRibbon-kaapeleiden käyttö vähentää merkittävästi kaapelin halkaisijaa varmistaen, että fyysinen kaapelointi ei estä ilmavirtaa tai nestemäisiä jäähdytysjakotukkeja.
+ Mitkä ovat etäisyysrajoitukset SU-tason kaapeloinnille?
Multimode (OM4/OM5) on rajoitettu 50 metriin 400G/800G-yhteyksissä. Keskistettyihin Spine-to-Core-linkkeihin, jotka ylittävät tämän, Single-mode G.657.A1 -kuitu on pakollinen pidempien etäisyyksien tukemiseksi ilman signaalin heikkenemistä.
+ Voinko käyttää tavallisia ulkokaapeleita tekoälyn datakeskusten runkoverkoissa?
Ei. Sisätilojen tekoälysaleissa vaaditaan LSZH (Low Smoke Zero Halogen), Riser- tai Plenum-kaapeleita paikallisten säädösten mukaisten paloturvallisuusmääräysten täyttämiseksi. Suuritiheyksisillä reiteillä erikoistuneet SlimCORE sisäkaapelit tarjoavat tarvittavan säiemäärän pienemmällä halkaisijalla.
+ Mitä hyötyä on tehtaalla päätetyistä pigtail-kaapeleista SU:ssa?
MPO-kaapelin optiset pigtail-kuidut mahdollistavat nopean massasulateliitoksen Spine- tai Core-kerroksessa. Tämä tehtaalla hallittu pääte toisessa päässä tarjoaa esipäätteen edut, kun taas ’leikattu’ pää mahdollistaa joustavuuden asentaa tarvittavaan pituuteen paikan päällä.

Suunnittele tekoälytehtaasi

ScaleFibre toimittaa esipäätettyjä kaapelointiratkaisuja NVIDIA DGX SuperPOD -käyttöönottoihin.

Ota yhteyttä

Hanki lisätietoja suurikuituisista runkokaapeleista NVidia DGX SU:llesi.

Jaa: