AI-servers worden tegenwoordig voornamelijk gekoeld met vloeistof. Koelplaten die op de processors worden gedrukt, warmtewisselaars aan de achterkant van het rack of volledige onderdompeling in een niet-geleidende vloeistof hebben de overhand genomen, omdat lucht alleen de warmte van een dicht AI-rack niet meer kan afvoeren. De warmte volgt een vast pad, ongeacht de methode. Het verlaat de siliciumchip, passeert een dunne thermische interfacelaag, komt in een metalen koelplaat of koelvloeistof terecht en verlaat uiteindelijk het gebouw. Inzicht in dat pad, en waar elke koelmethode daarop inspeelt, verklaart waarom de industrie is overgestapt van ventilatoren naar vloeistoffen.
Waarom luchtkoeling ontoereikend is bij AI-rackdichtheden
Luchtkoeling schiet tekort bij AI-dichtheden omdat de warmte per rack de hoeveelheid warmte die door bewegende lucht kan worden afgevoerd, overstijgt. Een conventioneel enterprise rack verbruikt ongeveer 8 tot 10 kW. AI-trainingsracks bereiken nu 100 kW en meer, en het stroomverbruik per accelerator is gestegen van een paar honderd watt naar ruim 1000 watt. NVIDIA's Blackwell GPU's verbruiken volgens IEEE Spectrum tot wel 1200 watt per stuk. Het verplaatsen van voldoende koude lucht over de chips bij die dichtheid betekent onpraktisch veel ventilatorvermogen en geluidsoverlast, lang voordat de chips de temperatuur comfortabel kunnen verdragen.
De luchtstroom is de specifieke beperking die als eerste opraakt. Lucht heeft een lage warmtecapaciteit, dus om meer warmte af te voeren is meer lucht nodig. Het benodigde volume neemt echter sneller toe dan de beschikbare ruimte en het ventilatorvermogen in een compact serverrack. Voorbij een bepaald punt verbruiken de ventilatoren een steeds groter deel van het energiebudget, ontstaan er hotspots waar de luchtstroom ongelijkmatig is en beginnen de processors hun prestaties te beperken om zichzelf te beschermen. Dat is de grens waar AI-hardware tegenaan loopt, en daarom is de vraag verschoven van hoe AI-servers met lucht gekoeld moeten worden naar welke vloeistofkoelingsmethode het meest geschikt is.
De natuurkundige principes zijn in het voordeel van vloeistoffen. IEEE Spectrum merkt op dat water per volume-eenheid ongeveer 3000 keer zoveel warmte kan absorberen als lucht en warmte ongeveer twintig keer beter geleidt. Daarom houdt een vloeistofcircuit de junctietemperatuur van een chip stabiel met een veel kleiner temperatuurverschil dan lucht ooit zou kunnen. Koeling is ook geen onbelangrijke kostenpost. Volgens sommige schattingen van operators kan dit oplopen tot wel 401 TP4T aan elektriciteit van een datacenter. Die efficiëntie heeft direct invloed op de operationele kosten en daarmee op de hoeveelheid rekenkracht die een locatie binnen hetzelfde energiebudget kan installeren.
Het warmtepad: van de GPU-chip via thermische geleidende materialen naar de koelplaat.
Elke koelmethode begint bij hetzelfde knelpunt: het afvoeren van warmte van de chip en het overbruggen van de kleine opening tussen de chip of het deksel en de koelhardware. Die opening is nooit perfect vlak, waardoor een dunne laag warmte niet altijd even gemakkelijk kan worden afgevoerd. thermische interfacematerialen Het vult de ruimte en vervangt de isolerende lucht door een geleidend pad naar de koelplaat of het koelblok. Wanneer die interface slecht is, kan geen enkele stroomafwaartse kringloop, hoe koud ook, de warmte snel genoeg afvoeren en zal de processor zijn prestaties terugschroeven.
De interface is belangrijk omdat thermische weerstanden zich in serie optellen langs het warmtepad. Warmte moet de verbinding tussen de chip en de behuizing, de interfacelaag en de wand van de koelplaat passeren voordat deze de koelvloeistof bereikt, en de zwakste schakel bepaalt de maximale temperatuur. Een grote koelplaat met een lage temperatuur kan een slechte interface direct onder de chip niet compenseren. Daarom wordt de interfacelaag, hoewel slechts een fractie van een millimeter dik, beschouwd als een ontwerpvariabele en niet als een bijzaak.
De keuze van de interface hangt af van de assemblage, niet alleen van de koelvloeistof. Grotere of ongelijkmatige openingen worden meestal overbrugd met flexibele vulmaterialen. thermische spleetpads De keuze voor een bepaald materiaal hangt af van hoe goed het materiaal de montagedruk aankan en van de vlakheid, terwijl dunne, vlakke deksels gebruik kunnen maken van pasta's of faseveranderende films. De specifieke geleidbaarheid en dikte zijn afhankelijk van het materiaal en de montagemethode, en er is geen vast onderdeelnummer dat deze waarden bepaalt. Componentleveranciers zoals Trumonytechs werken op dit niveau en stemmen koelplaten en interfacematerialen af op de spleet, de montagespanning en de warmtebelasting van een bepaalde behuizing. Dezelfde interface-engineering is van toepassing op de koeling van accupakketten.
Directe vloeistofkoeling naar de chip (koelplaat)
Directe koeling van de chip is de meest gebruikte methode voor compacte AI-racks: een metalen koelplaat met interne kanalen bevindt zich direct op elke processor en transporteert koelvloeistof op enkele millimeters afstand van de warmtebron. Volgens openbare beschrijvingen van productiesystemen wordt ongeveer 70 tot 901 TP4T aan warmte in het rack op deze manier afgevoerd, terwijl de resterende warmte van het geheugen en de voedingsmodules nog steeds via de lucht wordt afgevoerd. De koelvloeistof is vaak water waaraan glycol is toegevoegd om bevriezing, corrosie en biologische groei te voorkomen, en wordt vervolgens via een koelvloeistofverdeelunit (CDU) naar buiten geleid voor warmteafvoer.
De CDU vormt de grens die de aanpak op grote schaal praktisch uitvoerbaar maakt. Het isoleert de schone, gecontroleerde kringloop die de chips raakt van het buitenliggende koelwater en verdeelt de vloeistofstroom naar elk rack via verdeelstukken. Operators kunnen de kringloop aan de chipzijde vervolgens op de gewenste temperatuur voor de servers houden, terwijl de warmte aan de faciliteitszijde wordt afgevoerd via droge koelers of chillers. Omdat de kringloop afgesloten blijft, circuleert dezelfde koelvloeistof in plaats van te worden verbruikt, en het ontwerp omvat lekdetectie en snelkoppelingen als standaarduitrusting.
Eenfasige directe verbinding met de chip
Bij eenfasige directe koeling naar de chip blijft de koelvloeistof gedurende het hele proces vloeibaar, waardoor een hogere doorstroming wordt opgeofferd voor een eenvoudiger circuit. De vloeistof komt de koelplaat binnen, warmt op en verlaat deze zonder te koken, wat het systeem eenvoudig houdt maar wel een constante pompwerking vereist. De warmwaterontwerpen van NVIDIA gebruiken bijvoorbeeld een mengsel van ongeveer 75% water en 25% propyleenglycol en accepteren koelvloeistof met een temperatuur tot 45 °C in een gesloten circuit. Dankzij deze warmte kunnen veel locaties warmte afvoeren met droge koelers in plaats van energieverslindende koelinstallaties.
Tweefasige directe verbinding met de chip
Bij tweefasige directe koeling van de chip kookt de koelvloeistof op het hete oppervlak, waarbij de latente verdampingswarmte wordt gebruikt om per debiet veel meer warmte te verplaatsen. IEEE Spectrum beschrijft tweefasige methoden die een koelcapaciteit bieden die tien tot honderd keer zo groot is als die van een eenfasige vloeistof, bij een fractie van het debiet. De keerzijde is een complexer, afgesloten systeem en vloeistoffen die zorgvuldig moeten worden geselecteerd en opgeslagen.
Warmtewisselaars in de achterdeur en hybride lucht-vloeistofkoeling
Warmtewisselaars in de achterdeur koelen de lucht die uit een rack komt, niet de chip zelf. Daardoor zijn ze de eenvoudigste vloeistofkoelingsoplossing voor een bestaande luchtgekoelde ruimte. Een vloeistofgekoelde spiraal vervangt de achterdeur van het rack, de ventilatoren van de servers blazen de hete uitlaatgassen erdoorheen en gekoeld water voert de warmte af voordat deze de ruimte weer binnenkomt. De gerapporteerde capaciteiten lopen op tot ongeveer 75 kW per rack, genoeg om luchtgekoelde faciliteiten uit te breiden naar een gemiddelde AI-dichtheid zonder vloeistofleidingen naar elke chip aan te leggen. Passieve deuren maken gebruik van de ventilatoren van de servers, terwijl actieve deuren hun eigen ventilatoren toevoegen voor meer capaciteit.
Hybride ontwerpen combineren direct-to-chip koelplaten met luchtkoeling of koeling via de achterkant in hetzelfde rack. De koelplaten nemen de geconcentreerde belasting van GPU's en CPU's voor hun rekening, terwijl lucht de componenten met een lager stroomverbruik koelt. Dit is vaak de meest praktische oplossing wanneer een locatie niet direct volledig voor vloeistofkoeling kan kiezen.
Dompelkoeling
Immersion cooling dompelt complete servers onder in een niet-geleidende diëlektrische vloeistof, waardoor ventilatoren en aparte leidingen voor elke chip overbodig worden. Omdat de vloeistof elk component raakt, wordt de warmte gelijkmatig over het gehele oppervlak van de printplaat afgevoerd, en niet via één enkele plaat. Dit maakt een zeer hoge dichtheid mogelijk in een compact formaat. Het weglaten van de ventilatoren elimineert ook een veelvoorkomend storingspunt en een groot deel van het geluidsoverlast, en het bespaart ruimte die anders door de ventilatoren en koelplaten zou worden ingenomen. De nadelen zijn andere hardware, nieuwe onderhoudsprocedures en een andere manier van omgaan met de vloeistof. Onderhoud aan een printplaat betekent dat deze uit de tank moet worden getild, en operators vervangen zelfs sommige standaard thermische interface-materialen omdat deze na verloop van tijd in de vloeistof kunnen degraderen.
Eenfasige onderdompeling
Bij eenfasige onderdompeling blijft de diëlektrische vloeistof vloeibaar en wordt deze naar een externe warmtewisselaar gepompt. Deze aanpak is mechanisch eenvoudig en maakt ventilatoren overbodig, maar circulatie en periodieke vloeistofcontrole blijven nodig voor een betrouwbare werking.
Tweefasige onderdompeling
Bij tweefasige onderdompeling verdampt de vloeistof van de componenten en condenseert deze op een gekoelde spiraal boven de tank, waarbij opnieuw gebruik wordt gemaakt van latente warmte voor een zeer hoge warmteflux. Speciaal ontwikkelde diëlektrische vloeistoffen zijn zo samengesteld dat ze bij lage temperaturen koken, naar verluidt tussen de 34 en 56 °C, waardoor de componenten een gecontroleerde temperatuur behouden. De kosten van de vloeistof en de opslag ervan vormen de belangrijkste beperkingen.
Een koelmethode afstemmen op de rackdichtheid
De keuze voor de koelmethode hangt meer af van de vermogensdichtheid van het rack dan van welke andere factor dan ook. Luchtkoeling en koeling via de achterkant van het rack zijn nog steeds geschikt voor racks met een lagere vermogensdichtheid. Directe koeling van de chip wordt de standaard zodra een rack een vermogensdichtheid bereikt waarbij luchtkoeling alleen niet meer volstaat, wat vaak wordt aangegeven bij tientallen kilowatts. Immersion-koeling is voorbehouden aan de hoogste vermogensdichtheden en de meest ruimtebeperkte configuraties. De cruciale vraag bij elke implementatie is waar de warmte zich daadwerkelijk concentreert en of de interface en het ontwerp van de koelplaat de warmte kunnen afvoeren bij de gewenste junctietemperatuur.
Dichtheid is echter niet de enige variabele. Of een locatie een bestaande luchtgekoelde ruimte aanpast of een nieuwe bouwt, heeft invloed op het antwoord. Ontwerpen met een achterdeur en hybride ontwerpen hergebruiken bestaande racks en luchtstromen, terwijl volledig directe-naar-chip- en immersiekoeling leidingen, CDU's en personeel vereist dat getraind is in vloeistofkoeling. De beschikbare watertemperatuur in de faciliteit is ook van belang: een ontwerp dat warmere koelvloeistof accepteert, kan gebruikmaken van droge koelers in plaats van chillers, wat een groot deel van de efficiëntie van vloeistofkoeling verklaart. De rode draad is dat geen enkele methode de warmteoverdracht vermijdt. Het interfacemateriaal en het ontwerp van de koelplaat onder elke chip moeten worden gecontroleerd op de werkelijke warmtebelasting voordat de omringende koelingslus wordt gekozen.
| Methode | Hoe het de warmtestroom benut | Normale pasvorm | Belangrijkste afweging |
|---|---|---|---|
| Lucht / CRAC | Blaast koude lucht over koelribben. | Racks met een lagere dichtheid | Het vermogen loopt vast bij een vermogen van enkele tientallen kW. |
| Warmtewisselaar achterdeur | Koelt de uitlaatgassen van het rek met een vloeistofspiraal. | Retrofits met een gemiddelde dichtheid en luchtkoeling | Het hangt nog steeds af van de serverventilatoren bij de chip. |
| Direct-naar-chip koelplaat | Vloeistof op enkele millimeters afstand van de matrijs via een koelplaat. | Meest compacte AI-racks (100 kW+) | Elke chip heeft koelplaten, koelunits en thermische interface nodig. |
| Onderdompeling | De volledige server is ondergedompeld in een diëlektrische vloeistof. | Hoogste, ruimtebeperkte dichtheid | Diverse hardware, vloeistofverwerking, onderhoud |
Conclusie
Het korte antwoord is dat AI-servers worden gekoeld door warmte af te voeren naar een vloeistof zo dicht mogelijk bij de chip als de vermogensdichtheid vereist: koelplaten voor de meeste AI-racks, warmtewisselaars achterin om luchtgekoelde ruimtes te optimaliseren, en onderdompeling in extreme gevallen. De doorslaggevende factor is het afstemmen van de methode op de vermogensdichtheid van het rack en het warmtepad. Wat vaak over het hoofd wordt gezien, is dat vloeistofkoeling niet simpelweg een kwestie is van het vervangen van de koelvloeistof. De interface tussen de chip en de koelplaat, de vlakheid ervan en het materiaal waarvan deze is gemaakt, bepalen of een koelsysteem de processor binnen het gewenste temperatuurbereik kan houden. Volg het wattage vanaf de chip naar buiten, en de meest geschikte koelmethode wordt meestal vanzelf duidelijk.
FAQ
Waarom kunnen ventilatoren een moderne AI-GPU niet meer koelen?
Ventilatoren bereiken hun maximale capaciteit omdat een enkele AI-accelerator meer dan 1000 W kan afvoeren en een rack meer dan 100 kW. Dat is veel meer dan wat bewegende lucht kan afvoeren bij een praktisch ventilatorvermogen en geluidsniveau. Vloeistof kan per volume-eenheid veel meer warmte afvoeren, waardoor de junctietemperatuur behouden blijft met een veel kleinere temperatuurstijging.
Wat bevindt zich tussen de GPU en de koelplaat?
Tussen de chip en de koelplaat bevindt zich een dunne thermische interfacelaag die de microscopische, onregelmatige opening opvult, zodat warmte wordt geleid in plaats van ingesloten lucht te blijven hangen. Het materiaal, of het nu een pad, gel, pasta of faseveranderende film is, wordt gekozen op basis van de grootte van de opening, de vlakheid en de montagedruk van de behuizing.
Wat is het verschil tussen directe chipkoeling en immersiekoeling?
Bij direct-to-chip-koeling worden alleen de warmste componenten gekoeld via een koelplaat, terwijl de rest wordt gekoeld door lucht of een ander circuit. Bij immersiekoeling wordt de gehele server ondergedompeld in een diëlektrische vloeistof. Direct-to-chip-koeling kan gemakkelijker in bestaande racks worden ingebouwd, terwijl immersiekoeling een hogere dichtheid mogelijk maakt, maar andere hardware en vloeistofbehandeling vereist.
Bespaart vloeistofkoeling water?
Vloeistofkoeling kan water besparen wanneer het in een gesloten circuit werkt dat via droge koelers wordt afgevoerd, omdat dezelfde koelvloeistof circuleert in plaats van te verdampen. Of een locatie daadwerkelijk water bespaart, hangt af van het ontwerp van de warmteafvoer en het klimaat, niet alleen van de koelplaat.
Bij welke rackdichtheid is vloeistofkoeling nodig?
Vloeistofkoeling wordt over het algemeen noodzakelijk zodra de rackdichtheid oploopt tot tientallen kilowatts, waarbij luchtkoeling geen throttling meer kan voorkomen. Het exacte omslagpunt hangt af van de servers, de luchtstroom en de omstandigheden van de inlaatlucht, dus dit moet per implementatie worden geverifieerd en nooit zomaar worden aangenomen.
Verder lezen
- De volgende generatie AI heeft vloeistofkoeling nodig (IEEE Spectrum) — IEEE Spectrum, de belangrijkste publicatie van de IEEE, de beroepsorganisatie voor ingenieurs. Ondersteunt de hierboven gebruikte vergelijking van de warmtecapaciteit van water versus lucht en het verschil in capaciteit tussen eenfasige en tweefasige systemen.
- Opties voor vloeistofkoeling: RDHx, Direct-to-Chip, Immersion (kennis voor datacenters) — Een gevestigde publicatie in de datacenterindustrie. Ondersteunt de vergelijking van de rear-door-, direct-to-chip- en immersiemethoden en de bijbehorende afwegingen.
Gerelateerde artikelen
- Potting compounds — Dit behandelt hoe inkapselingsmaterialen elektronische componenten beschermen en warmte afvoeren. Dit is nuttig wanneer een koelsysteem ook componenten moet afdichten en mechanisch ondersteunen.
- Waarvoor wordt thermische gel gebruikt? — Legt uit waar thermische gel past tussen de verschillende interfacematerialen voor het opvullen van ongelijkmatige openingen, dezelfde interfacelaag die in dit artikel als doorslaggevend wordt aangemerkt.
- Wat is thermische pasta voor computers? — Legt uit hoe thermische pasta werkt bij de interface tussen de CPU en de GPU, de microscopische ruimte tussen de chip en de koelplaat.
- Wanneer moet je thermische gel gebruiken? — Helpt bepalen wanneer een gel beter geschikt is dan een pad of pasta voor een bepaalde spleet en montageomstandigheid, en breidt zo de interface-selectielogica uit.
- Welke thermische pasta is het beste? — Verduidelijkt hoe je de "beste" pasta kunt beoordelen op basis van het beoogde resultaat en de beperkingen, handig als je weet dat een slechte interface elke vloeistoflus vertraagt.
