A mesterséges intelligencia alapú szervereket ma már többnyire folyadékkal hűtik. A processzorokra nyomott hideglemezek, a rack szekrényben található hátsó ajtós hőcserélők vagy a nem vezetőképes folyadékba való teljes bemerítés átvette az uralmat, mivel a levegő önmagában már nem képes elvezetni a hőt egy sűrű mesterséges intelligencia alapú rack szekrényből. A hő a módszertől függetlenül egy rögzített utat követ. Elhagyja a szilíciumlapkát, áthalad egy vékony hővezető rétegen, belép egy fém hideglemezbe vagy hűtőfolyadékba, és végül elhagyja az épületet. Ennek az útvonalnak a megértése, és az egyes hűtési módszerek befolyásának hiánya megmagyarázza, miért tért át az iparág a ventilátorokról a folyadékokra.
Miért fogy ki a léghűtés a mesterséges intelligencia által üzemeltetett rackek sűrűsége mellett?
A léghűtés mesterséges intelligencia által vezérelt sűrűségnél kudarcot vall, mivel a rackszekrényenkénti hő meghaladja azt, amit a mozgó levegő gyakorlatilag el tud távolítani. Egy hagyományos vállalati rackszekrény nagyságrendileg 8-10 kW-ot fogyaszt. A mesterséges intelligencia által vezérelt oktató rackek teljesítménye ma már eléri a 100 kW-ot vagy többet, a gyorsítónkénti teljesítmény pedig néhány száz wattról jóval 1000 W fölé emelkedett. Az NVIDIA Blackwell GPU-inak teljesítménye egyenként nagyjából 1200 W-ot is elér az IEEE Spectrum jelentése szerint. Ha ilyen sűrűségben elegendő hideg levegőt juttatunk a chipek közé, az gyakorlatilag kivitelezhetetlen ventilátorteljesítményt és zajt jelent, jóval azelőtt, hogy a szilikon kényelmesen működne.
A légáramlás az a konkrét határérték, ami először adódóan meghibásodik. A levegő hőkapacitása alacsony, így a több hő eltávolítása több levegő mozgatását jelenti, és a szükséges térfogat gyorsabban növekszik, mint egy sűrű rack szekrényben rendelkezésre álló hely és ventilátorteljesítmény. Egy bizonyos ponton túl a ventilátorok egyre nagyobb részét fogyasztják az energiaköltségvetésnek, forró pontok alakulnak ki, ahol a légáramlás egyenetlen, és a processzorok elkezdenek csökkenteni a teljesítményt, hogy megvédjék magukat. Ez a fali MI hardver csapása, és ezért a kérdés a MI szerverek levegővel való hűtéséről a folyékony hűtési módszer használatára helyeződött át.
A fizika messze a folyadék mellett szól. Az IEEE Spectrum megjegyzi, hogy a víz térfogategységre vetítve nagyjából 3000-szer annyi hőt képes elnyelni, mint a levegő, és nagyjából hússzor jobban vezeti a hőt. Ezért van az, hogy a folyadékhurok sokkal kisebb hőmérsékletkülönbséggel tartja meg a chip csatlakozási hőmérsékletét, mint a levegő valaha is képes lenne. A hűtés sem kis költség. Egyes üzemeltetők becslései szerint akár 40%-t is kitehet egy adatközpont villamos energiájának. Ez a hatékonyság közvetlenül befolyásolja az üzemeltetési költségeket, és ezzel együtt azt is, hogy egy telephely mennyi számítási kapacitást tud telepíteni ugyanabban az energiafogyasztási tartományban.
A hőút: a GPU-chiptől a hővezető anyagokon keresztül a hideglemezig
Minden hűtési módszer ugyanarról a szűk keresztmetszetről indul: a hő elvezetése a chipről a lapka vagy annak fedele és a hűtő hardver közötti apró résen keresztül. Ez a rés soha nem tökéletesen sík, ezért egy vékony réteg… termikus határfelületi anyagok kitölti azt, és a szigetelő levegőt egy vezető útvonallal helyettesíti a hideg lemezbe vagy hűtőbordába. Amikor ez az interfész rossz, egyetlen lefelé irányuló hurok sem képes elég gyorsan hőt kivonni, bármilyen hideg is legyen, és a processzor lelassul.
A határfelület azért fontos, mert a hőellenállások sorosan összeadódnak a hő útján. A hőnek át kell haladnia a lapka és a fedél közötti csatlakozáson, a határfelületi rétegen és a hideg lemez falán, mielőtt elérné a hűtőfolyadékot, és a leggyengébb láncszem szabja meg a plafont. Egy nagy, alacsony hőmérsékletű hideg lemez nem tudja kompenzálni a közvetlenül a chip alatti rossz határfelületet. Ezért a határfelületi réteget, bár csak egy milliméter töredéke vastag, tervezési változónak, nem pedig utólagos szempontnak tekintik.
A csatlakozófelület kiválasztása az összeszerelést követi, nem csak a hűtőfolyadékot. A nagyobb vagy egyenetlen réseket általában alakítható réskitöltőkkel vagy hőszigetelő betétek a szerelési nyomás és a síkfelület kezelése alapján választják ki őket, míg a vékony, lapos fedelekhez pasztákat vagy fázisváltó fóliákat használhatnak. A fajlagos vezetőképesség és vastagság az anyagból és a rögzítési módszerből következik, és ezeket nem rögzíti egyetlen cikkszám. Az olyan alkatrész-beszállítók, mint az Trumonytechs, ezen a rétegen dolgoznak, a hideglemezeket és az illesztőanyagokat az adott csomag réséhez, összeszerelési feszültségéhez és hőterheléséhez illesztve. Ugyanez az illesztőfelület-tervezés szabályozza az akkumulátorcsomag hűtését is.
Közvetlenül a chipre (hideglemezes) folyadékhűtés
A sűrű mesterséges intelligencia rackek esetében a közvetlenül a chipre történő hűtés a domináns megközelítés: egy belső csatornákkal ellátott fém hűtőlemez közvetlenül az egyes processzorokon helyezkedik el, és a hűtőfolyadékot néhány milliméterre a hőforrástól vezeti el. A termelési rendszerek nyilvános leírásai szerint az így felvett rackhő aránya nagyjából 70-90%, míg a levegő egy része még mindig kezeli a memória és a teljesítményfokozatokból származó maradékhőt. A hűtőfolyadék gyakran víz, amelyhez glikolt adnak a fagyás, a korrózió és a biológiai növekedés megakadályozása érdekében, majd egy hűtőfolyadék-elosztó egységen (CDU) keresztül a kültéri hőelvezetéshez vezetik.
A CDU az a határ, amely a megközelítést nagy léptékben is praktikussá teszi. Elszigeteli a chipeket érintő tiszta, szabályozott hurkot a létesítményen kívüli víztől, és elosztócsöveken keresztül osztja el az áramlást az egyes rackek között. Az operátorok ezután a chipoldali hurkot a szerverek által kívánt hőmérsékleten működtethetik, míg a létesítményoldal szárazhűtőkön vagy hűtőkön keresztül leadja a hőt. Mivel a hurok lezárt marad, ugyanaz a hűtőfolyadék recirkulál ahelyett, hogy fogyasztásra kerülne, és a kialakítás alapfelszereltségként beépíti a szivárgásészlelést és a gyorscsatlakozó szerelvényeket.
Egyfázisú, közvetlenül a chipre kapcsolt
Az egyfázisú, közvetlenül a chipre történő bevezetés során a hűtőfolyadék végig folyékony állapotban marad, így a nagyobb áramlási sebesség egyszerűbbé válik. A folyadék belép a hideg lemezre, felmelegszik, majd forrás nélkül távozik, ami egyszerűvé teszi a rendszer működését, de folyamatos szivattyúzást igényel. Az NVIDIA melegvizes megoldásai például körülbelül 75% víz és 25% propilénglikol keverékét használják, és akár 45 °C-os hűtőfolyadékot is befogadnak zárt körben. Ez a meleg lehetővé teszi, hogy számos telephely száraz hűtőkkel vezesse le a hőt az energiaigényes hűtők helyett.
Kétfázisú, közvetlenül a chipre
A kétfázisú, közvetlenül a chipre történő hűtőfolyadék-elvezetés lehetővé teszi a hűtőfolyadék forralását a forró felületen, a párolgás látens hőjét felhasználva sokkal több hő mozgatására áramlási egységenként. Az IEEE Spectrum olyan kétfázisú módszereket ír le, amelyek az egyfázisú folyadék hűtőkapacitásának tízszeresét vagy százszorosát kínálják, az áramlási sebesség töredékén. A kompromisszum egy összetettebb, zárt rendszer és olyan folyadékok, amelyeket gondosan kell kiválasztani és tárolni.
Hátsó ajtós hőcserélők és hibrid levegő-folyadék hűtés
A hátsó ajtón elhelyezett hőcserélők a rackből kilépő levegőt hűtik, nem magát a chipet, ami a legegyszerűbb folyadékhűtési megoldássá teszi őket egy meglévő léghűtéses helyiségben. Egy folyadékhűtéses tekercs helyettesíti a rack hátsó ajtaját, a szerverek saját ventilátorai a forró kipufogógázt hajtják át rajta, és a hűtött víz elszállítja a hőt, mielőtt az visszatérne a helyiségbe. A bejelentett kapacitások rackenként nagyjából 75 kW-ot tesznek ki, ami elegendő ahhoz, hogy a léghűtéses létesítményeket mérsékelt mesterséges intelligencia sűrűségűre bővítsék anélkül, hogy minden chiphez folyadékot vezetnének. A passzív ajtók a szerverventilátorokra támaszkodnak, míg az aktív ajtók saját ventilátorokkal egészítik ki a nagyobb belmagasság érdekében.
A hibrid kialakítások a közvetlenül a chipre csatlakoztatott lemezeket levegős vagy hátsó ajtós hűtéssel párosítják ugyanabban a rackben. A hideg lemezek veszik át a GPU-k és CPU-k koncentrált terhelését, míg a levegős hűtés kezeli az alacsonyabb energiaigényű alkatrészeket, ami gyakran a praktikus megoldás, ha egy telephely nem tud egyszerre teljes mértékben folyadékhűtésre váltani.
Merülő hűtés
A merülőhűtés teljes szervereket merít egy nem vezetőképes dielektromos folyadékba, így nincs szükség ventilátorokra és chipenkénti csővezetékekre. Mivel a folyadék minden alkatrészhez érintkezik, a hő egyenletesen távozik az alaplapokról minden felületen, nem egyetlen lemezen keresztül, ami nagyon nagy sűrűséget tesz lehetővé kompakt méretben. A ventilátorok eltávolítása egy közös meghibásodási pontot és az akusztikus zaj nagy részét is megszünteti, valamint felszabadítja azt a helyet, amelyet ezek a ventilátorok és hűtőbordák elfoglalnának. A kompromisszumok közé tartozik az eltérő hardver, az új karbantartási eljárások és a folyadékkezelés. Egy alaplap szervizelése azt jelenti, hogy ki kell emelni a tartályból, és a kezelőknek még néhány szabványos hővezető anyagot is ki kell cserélniük, mivel ezek idővel lebomolhatnak a folyadékban.
Egyfázisú merülő
Az egyfázisú merítés folyékony állapotban tartja a dielektromos folyadékot, és egy külső hőcserélőbe pumpálja. A megközelítés mechanikailag egyszerű és kiküszöböli a ventilátorokat, de a megbízhatóság megőrzése érdekében továbbra is keringtetésre és rendszeres folyadéktesztelésre van szükség.
Kétfázisú merítés
A kétfázisú merítés lehetővé teszi, hogy a folyadék elforrjon az alkatrészekről, és lecsapódjon a tartály feletti hűtött tekercsen, ismét a látens hőt kihasználva a nagyon magas hőáram érdekében. A tervezett dielektromos folyadékok alacsony hőmérsékleten, nagyjából 34-56 °C tartományban forrnak, így az alkatrészek hőmérséklete közel szabályozott marad. A folyadékköltség és a tárolási kapacitás a fő korlátozó tényezők.
Hűtési módszer illesztése az állványok sűrűségéhez
A módszerválasztás minden más tényezőnél jobban követi a rack teljesítménysűrűségét. A levegős és hátsó ajtós hűtés továbbra is az alacsonyabb sűrűségű rackeket szolgálja ki. A közvetlen chiphűtés lesz az alapértelmezett, amint a rack átlépi azt a sűrűséget, ahol a levegő önmagában is fojtja a teljesítményt, amelyet általában tízes kilowattokban emlegetnek. Az immerziós hűtést a legnagyobb, leginkább helyszűkében lévő sűrűségekre tartják fenn. Bármely telepítés ellenőrző kérdése az, hogy hol koncentrálódik valójában a hő, és hogy az interfész és a hideglemez kialakítása képes-e azt a célzott csatlakozási hőmérsékleten mozgatni.
A sűrűség azonban nem az egyetlen változó. A válasz attól függ, hogy egy telephely egy léghűtéses helyiséget korszerűsít-e, vagy újat épít. A hátsó ajtós és a hibrid kialakítások a meglévő rackszekrényeket és légáramlást hasznosítják újra, míg a teljes, közvetlenül a chiphez és a merülő hűtés feltételezi a vízvezeték-rendszerek, a CDU-k és a folyadékokkal való hűtésre kiképzett személyzet meglétét. A rendelkezésre álló létesítményi vízhőmérséklet is számít: egy olyan kialakítás, amely melegebb hűtőfolyadékot fogad el, szárazhűtőkre támaszkodhat a folyadékhűtés helyett, ami nagyban hozzájárul a folyadékhűtés hatékonyságához. Az állandó nézet az, hogy egyetlen módszer sem menekülhet a hőútvonal elől. Az egyes chipek alatti illesztőanyagot és a hűtőlemez kialakítását a valós hőterheléshez kell viszonyítani, mielőtt a környező hurkot kiválasztanák.
| Módszer | Hogyan csapolja meg a hőutat | Tipikus illeszkedés | Fő kompromisszum |
|---|---|---|---|
| Légkondicionáló / Légkondicionáló | Hideg levegőt fúj a hűtőbordák fölé | Alacsonyabb sűrűségű állványok | Kifogy a szabad magasságból a kW-okban |
| Hátsó ajtó hőcserélője | Folyadéktekerccsel hűti az állványzatból kilépő levegőt | Közepes sűrűségű, léghűtéses utólagos átalakítások | Még mindig a chip szerver rajongóitól függ |
| Közvetlenül a forgácshoz hűtőlap | Folyadék néhány mm-re a szerszámtól egy hideg lemezen keresztül | Legsűrűbb mesterséges intelligencia rackek (100 kW+) | Hideglemezekre, CDU-kra és TIM-re van szükség minden chipnél |
| Elmélyülés | A teljes szerver dielektromos folyadékba merül | Legnagyobb, helyszűkében lévő sűrűség | Különböző hardverek, folyadékkezelés, karbantartás |
Következtetés
A rövid válasz az, hogy a mesterséges intelligenciával működő szervereket úgy hűtik, hogy a hőt egy folyadékba juttatják, olyan közel a chiphez, amennyire a sűrűség megkívánja: hideg lemezek a legtöbb mesterséges intelligencia által épített rack esetében, hátsó ajtós hőcserélők a léghűtéses helyiségek meghosszabbításához, és immerzió a szélsőséges esetekben. A lényeg a módszer összehangolása a rack teljesítménysűrűségével és a hő útjával. A leggyakrabban figyelmen kívül hagyott pont az, hogy a folyadékhűtés nem egyszerűen a hűtőfolyadék cseréje. A lapka és a hideg lemez közötti határfelület, annak sík felülete és az anyagkészlet dönti el, hogy egy adott hurok képes-e a processzort a tartományon belül tartani. A lapkától kifelé haladva a wattok alapján általában kiderül a megfelelő hűtési módszer.
GYIK
Miért nem tudnak már ventilátorok hűteni egy modern mesterséges intelligencia alapú GPU-t?
A ventilátorok kifogynak a szabad mozgástérből, mivel egyetlen mesterséges intelligencia által működtetett gyorsító több mint 1000 W-ot képes elnyelni, egy rack szekrény pedig meghaladhatja a 100 kW-ot. Ez messze meghaladja azt a mennyiséget, amit a mozgó levegő a gyakorlatban alkalmazott ventilátorteljesítmény és zajszint mellett eltávolít. A folyadék sokkal több hőt szállít egységnyi térfogatra vetítve, így sokkal kisebb hőmérséklet-emelkedéssel tartja meg a csatlakozási hőmérsékletet.
Mi van a GPU és a hideglemez között?
Egy vékony hővezető réteg helyezkedik el a chip és a hideg lemez között, kitöltve a mikroszkopikus, egyenetlen rést, így a hő a csapdába esett levegő helyett vezeti a hőt. Az anyagot, legyen az párna, gél, paszta vagy fázisváltó fólia, a résméret, a sík felület és a tokozás szerelési nyomása alapján választják ki.
Miben különbözik a közvetlenül a chipre történő hűtés a bemerítéses hűtéstől?
A közvetlenül a chipre történő hűtés csak a legmelegebb alkatrészeket hűti egy hideg lemezen keresztül, míg a levegő vagy egy másik hurok a többit kezeli, míg az immerziós hűtés során a teljes szerver dielektromos folyadékba merül. A közvetlenül a chipre történő hűtés könnyebben beilleszthető a meglévő rackekbe, és az immerzió nagyobb sűrűséget ér el, de eltérő hardvert és folyadékkezelést igényel.
A folyadékhűtés vizet takarít meg?
A folyadékhűtés vízmegtakarítást eredményezhet, ha zárt körben működik, száraz hűtőkön keresztül elvezetve, mivel ugyanaz a hűtőközeg recirkulál a párolgás helyett. Az, hogy egy telephely valóban vizet takarít meg, a hőelvezetés kialakításától és az éghajlattól függ, nem csak a hűtőlemeztől.
Milyen rack sűrűség igényel folyadékhűtést?
A folyadékhűtés általában akkor válik szükségessé, amikor a rack sűrűsége eléri a több tíz kilowattot, ahol a levegő már nem tudja megakadályozni a fojtást. A pontos áthidalás a szerverektől, a légáramlástól és a beszívott levegő állapotától függ, ezért telepítésenként ellenőrizni kell, soha nem szabad feltételezni.
További olvasmányok
- A következő generációs mesterséges intelligenciának folyadékhűtésre van szüksége (IEEE Spectrum) — Az IEEE Spectrum, az IEEE mérnöki szakmai testületének zászlóshajó kiadványa. Támogatja a víz-levegő hőkapacitás összehasonlítását és a fent használt egyfázisú és kétfázisú kapacitáskülönbséget.
- Folyadékhűtési lehetőségek: RDHx, közvetlenül a chipre, merítés (adatközponti ismeretek) — Elismert adatközpont-ipari kiadvány. Támogatja a hátsó ajtós, a közvetlenül a chipre történő és az immerziós módszerek, valamint azok kompromisszumainak összehasonlítását.
Kapcsolódó cikkek
- Töltőanyagok — Leírja, hogyan védik és vezetik el a hőt a tokozás során az elektronikus alkatrészektől, ami akkor hasznos, ha a hűtési tervnek az alkatrészek tömítését és mechanikai alátámasztását is biztosítania kell.
- Mire használják a termogélt? — Elmagyarázza, hogy a hővezető gél hol helyezkedik el a határfelületi anyagok között az egyenetlen rések kitöltésére, ugyanazon határfelületi réteg esetében, amelyet ez a cikk döntőnek jelöl meg.
- Mi a hővezető paszta számítógépekhez? — Lebontja, hogyan működik a hővezető paszta a CPU és a GPU interfészeken, a mikroszkopikus résen, amely a lapka és a hideglemeze között található.
- Mikor használjunk termikus gélt? — Segít eldönteni, hogy egy gél mikor ver meg egy párnát vagy pasztát egy adott rés és rögzítési feltétel mellett, kiterjesztve az interfész-kiválasztási logikát itt.
- Melyik hővezető paszta a legjobb? — Tisztázza, hogyan kell megítélni a “legjobb” pasztát a célzott eredmény és a korlátok alapján, ami akkor hasznos, ha tudjuk, hogy egy rossz interfész korlátozza a folyékony ciklusokat.
