KI-Server werden heutzutage hauptsächlich mit Flüssigkeit gekühlt. Kühlplatten, die auf die Prozessoren gepresst werden, rückseitige Wärmetauscher am Rack oder das vollständige Eintauchen in eine nichtleitende Flüssigkeit haben sich durchgesetzt, da Luft allein die Wärme eines dicht bestückten KI-Racks nicht mehr abführen kann. Die Wärme folgt unabhängig von der Methode einem festgelegten Pfad. Sie verlässt den Siliziumchip, durchdringt eine dünne Wärmeleitschicht, tritt in eine Kühlplatte oder ein Kühlmittel ein und verlässt schließlich das Gebäude. Das Verständnis dieses Pfades und der jeweiligen Ansatzpunkte der einzelnen Kühlmethoden erklärt, warum die Branche von Lüftern auf Flüssigkeitskühlung umgestiegen ist.
Warum die Luftkühlung bei KI-Rackdichten an ihre Grenzen stößt
Die Luftkühlung stößt bei KI-Systemen mit hoher Dichte an ihre Grenzen, da die Wärmeentwicklung pro Rack die praktische Abfuhrkapazität der Luft übersteigt. Ein herkömmliches Enterprise-Rack benötigt etwa 8 bis 10 kW. KI-Trainingsracks erreichen mittlerweile 100 kW und mehr, und die Leistungsaufnahme pro Beschleuniger ist von einigen hundert Watt auf weit über 1.000 W gestiegen. Laut einem Bericht von IEEE Spectrum verbrauchen NVIDIAs Blackwell-GPUs jeweils bis zu 1.200 W. Um bei dieser Dichte ausreichend kalte Luft über die Chips zu leiten, wären Lüfterleistung und Lärmbelastung unpraktikabel, lange bevor die Chips die optimale Temperatur erreichen.
Der Luftstrom ist die spezifische Grenze, die zuerst erreicht wird. Luft hat eine geringe Wärmekapazität, daher bedeutet mehr Wärmeabfuhr, dass mehr Luft bewegt werden muss. Das benötigte Volumen steigt jedoch schneller als der verfügbare Platz und die Lüfterleistung in einem dicht bestückten Rack. Ab einem gewissen Punkt verbrauchen die Lüfter einen immer größeren Anteil der benötigten Energie, es bilden sich Hotspots an Stellen mit ungleichmäßiger Luftzirkulation, und die Prozessoren beginnen, ihre Leistung zu drosseln, um sich selbst zu schützen. An diese Grenze stößt KI-Hardware, und deshalb hat sich die Frage von der Kühlung von KI-Servern mit Luft hin zur Wahl der geeigneten Flüssigkeitskühlung verlagert.
Die Physik spricht deutlich für Flüssigkeiten. IEEE Spectrum merkt an, dass Wasser pro Volumeneinheit etwa 3.000-mal so viel Wärme aufnehmen kann wie Luft und Wärme etwa zwanzigmal besser leitet. Deshalb hält ein Flüssigkeitskreislauf die Sperrschichttemperatur eines Chips mit einer wesentlich geringeren Temperaturdifferenz als Luft. Auch die Kühlkosten sind nicht zu vernachlässigen. Schätzungen einiger Betreiber zufolge können sie bis zu 401 Tsd. 100 Tonnen des Stromverbrauchs eines Rechenzentrums ausmachen. Diese Effizienz beeinflusst direkt die Betriebskosten und damit die Rechenleistung, die ein Standort mit demselben Stromverbrauch realisieren kann.
Der Wärmepfad: Vom GPU-Die über die Wärmeleitmaterialien zur Kühlplatte
Jede Kühlmethode stößt an dieselbe Grenze: die Wärme vom Chip abzuführen und den winzigen Spalt zwischen dem Die bzw. dessen Deckel und der Kühlhardware zu überbrücken. Dieser Spalt ist nie vollkommen eben, daher ist eine dünne Schicht aus thermische Grenzflächenmaterialien Die Wärme wird zugeführt und die isolierende Luft durch einen leitfähigen Pfad zur Kühlplatte oder zum Kühlkörper ersetzt. Ist diese Grenzfläche unzureichend, kann kein nachgelagerter Kreislauf, egal wie kalt, die Wärme schnell genug abführen, und der Prozessor drosselt seine Leistung.
Die Grenzfläche ist entscheidend, da sich die Wärmewiderstände entlang des Wärmepfads addieren. Die Wärme muss die Verbindung zwischen Chip und Deckel, die Grenzschicht und die Wand der Kühlplatte durchdringen, bevor sie das Kühlmittel erreicht. Das schwächste Glied setzt dabei die Obergrenze. Eine große Kühlplatte mit niedriger Temperatur kann eine mangelhafte Grenzfläche direkt unter dem Chip nicht kompensieren. Deshalb wird die Grenzschicht, obwohl sie nur Bruchteile eines Millimeters dick ist, als Designvariable und nicht als nachträgliche Überlegung behandelt.
Die Auswahl der Schnittstelle richtet sich nach der Baugruppe, nicht nur nach dem Kühlmittel. Größere oder unebene Spalten werden üblicherweise mit anpassungsfähigen Spaltfüllern überbrückt. Wärmeleitpads Die Auswahl der Kühlkörper erfolgt anhand ihrer Eignung zur Handhabung von Montagedruck und Planheit, während dünne, flache Deckel mit Pasten oder Phasenwechselfilmen ausgestattet sein können. Die spezifische Leitfähigkeit und Dicke ergeben sich aus dem Material und der Montagemethode; eine einzelne Teilenummer legt diese Werte fest. Komponentenhersteller wie Trumonytechs arbeiten auf dieser Ebene und passen Kühlplatten und Schnittstellenmaterialien an den Spalt, die Montagespannung und die Wärmebelastung des jeweiligen Gehäuses an. Dieselbe Schnittstellentechnik ist auch für die Kühlung von Akkupacks relevant.
Direkte Chipkühlung (Kühlplatte)
Die direkte Chipkühlung ist das gängigste Verfahren für dicht bestückte KI-Racks: Eine Metallkühlplatte mit internen Kanälen sitzt direkt auf jedem Prozessor und führt das Kühlmittel wenige Millimeter von der Wärmequelle entfernt. Laut öffentlichen Beschreibungen von Produktionssystemen werden so etwa 70 bis 901 TP4T der Rack-Wärme abgeführt, während die Restwärme von Speicher und Leistungsstufen weiterhin über Luft abgeführt wird. Das Kühlmittel besteht häufig aus Wasser mit Glykolzusatz, um Frost, Korrosion und biologisches Wachstum zu verhindern. Anschließend wird es über eine Kühlmittelverteilungseinheit (CDU) zur externen Wärmeabfuhr geleitet.
Die Kühlverteilungseinheit (CDU) bildet die Schnittstelle, die den Ansatz in großem Maßstab praktikabel macht. Sie trennt den sauberen, kontrollierten Kreislauf, der die Chips berührt, vom externen Wasserkreislauf und verteilt den Durchfluss über Verteiler an die einzelnen Racks. Die Betreiber können den Kühlkreislauf auf der Chipseite auf die gewünschte Servertemperatur einstellen, während die Wärme auf der Anlagenseite über Trockenkühler oder Kaltwassersätze abgeführt wird. Da der Kreislauf geschlossen bleibt, zirkuliert das Kühlmittel, anstatt verbraucht zu werden. Leckageerkennung und Schnellkupplungen gehören zur Standardausstattung.
Einphasige Direkt-zu-Chip-Technologie
Die einphasige Direktkühlung zum Chip hält das Kühlmittel durchgehend flüssig und vereinfacht so den Kreislauf, indem sie einen höheren Durchfluss ausgleicht. Das Kühlmittel tritt in die Kühlplatte ein, erwärmt sich und verlässt sie, ohne zu sieden. Dadurch bleibt das System einfach, erfordert aber eine kontinuierliche Pumpenleistung. Die Warmwasser-Designs von NVIDIA beispielsweise verwenden ein Gemisch aus etwa 751 µl Wasser und 251 µl Propylenglykol und können in einem geschlossenen Kreislauf Kühlmittel mit einer Temperatur von bis zu 45 °C verarbeiten. Dank dieser Wärme können viele Standorte die Wärme mit Trockenkühlern anstelle von energieintensiven Kältemaschinen abführen.
Zweiphasige Direkt-zu-Chip-Technologie
Die Zweiphasen-Direktkühlung des Chips nutzt die Verdampfungswärme, um deutlich mehr Wärme pro Volumenstrom abzuführen. IEEE Spectrum beschreibt Zweiphasenverfahren, die die zehn- bis hundertfache Kühlleistung einer Einphasenkühlung bei einem Bruchteil des Volumenstroms bieten. Der Nachteil besteht in einem komplexeren, geschlossenen System und der Notwendigkeit, die Kühlflüssigkeiten sorgfältig auszuwählen und einzuschließen.
Wärmetauscher in den Hecktüren und Hybrid-Luft-Flüssigkeits-Kühlung
Wärmetauscher an der Rückseite des Racks kühlen die aus dem Rack austretende Luft, nicht den Chip selbst. Dadurch ist dies die einfachste Lösung für die Flüssigkeitskühlung in einem bereits luftgekühlten Raum. Ein flüssigkeitsgekühlter Verdampfer ersetzt die Rücktür des Racks. Die Serverlüfter drücken die heiße Abluft hindurch, und gekühltes Wasser führt die Wärme ab, bevor sie wieder in den Raum gelangt. Die angegebenen Leistungen reichen bis zu etwa 75 kW pro Rack. Dies genügt, um luftgekühlte Anlagen auf eine mittlere Dichte von KI-Systemen auszuweiten, ohne jeden Chip mit Flüssigkeit versorgen zu müssen. Passive Türen nutzen die Serverlüfter, während aktive Türen zusätzliche Lüfter für mehr Kühlleistung bieten.
Hybrid-Designs kombinieren Direkt-Chip-Kühlplatten mit Luft- oder Rückwandkühlung im selben Rack. Die Kühlplatten übernehmen die konzentrierte Last von GPUs und CPUs, während die Luftkühlung die Komponenten mit geringerem Stromverbrauch versorgt. Dies ist oft die praktikabelste Lösung, wenn eine vollständige Wasserkühlung nicht sofort möglich ist.
Eintauchkühlung
Bei der Immersionskühlung werden ganze Server in eine nichtleitende dielektrische Flüssigkeit eingetaucht. Dadurch entfallen Lüfter und die Kühlung einzelner Chips. Da die Flüssigkeit jede Komponente berührt, wird die Wärme gleichmäßig über alle Oberflächen der Platinen abgeleitet und nicht durch eine einzelne Platte. Dies ermöglicht eine sehr hohe Packungsdichte auf kleinem Raum. Durch den Wegfall der Lüfter entfällt außerdem eine häufige Fehlerquelle und ein Großteil der Geräuschentwicklung. Zudem wird der Platzbedarf von Lüftern und Kühlkörpern reduziert. Die Nachteile sind andere Hardware, neue Wartungsverfahren und ein angepasster Umgang mit der Flüssigkeit. Zur Wartung einer Platine muss diese aus dem Kühlbehälter entnommen werden. Außerdem müssen einige Standard-Wärmeleitmaterialien ausgetauscht werden, da sie sich in der Flüssigkeit mit der Zeit zersetzen können.
Einphasen-Tauchverfahren
Bei der Einphasen-Immersion wird die dielektrische Flüssigkeit flüssig gehalten und zu einem externen Wärmetauscher gepumpt. Das Verfahren ist mechanisch einfach und kommt ohne Lüfter aus, erfordert aber dennoch eine Zirkulation und regelmäßige Flüssigkeitsprüfungen, um zuverlässig zu funktionieren.
Zweiphasen-Eintauchverfahren
Bei der Zweiphasen-Immersion verdampft die Flüssigkeit von den Bauteilen und kondensiert an einer gekühlten Spule über dem Tank. Dabei wird die latente Wärme für einen sehr hohen Wärmestrom genutzt. Speziell entwickelte dielektrische Flüssigkeiten sind so formuliert, dass sie bei niedrigen Temperaturen, etwa zwischen 34 und 56 °C, verdampfen. So bleiben die Bauteile auf einer kontrollierten Temperatur. Die Kosten der Flüssigkeit und die sichere Aufbewahrung sind die wichtigsten Einschränkungen.
Abstimmung der Kühlmethode auf die Rackdichte
Die Wahl des Kühlverfahrens hängt stärker von der Leistungsdichte des Racks ab als von jedem anderen einzelnen Faktor. Luft- und Rückwandkühlung eignen sich weiterhin für Racks mit geringerer Dichte. Direktkühlung des Chips wird zum Standard, sobald ein Rack die Leistungsdichte überschreitet, bei der Luftkühlung allein nicht mehr ausreicht – üblicherweise im Bereich von einigen zehn Kilowatt. Immersionskühlung ist den höchsten Leistungsdichten und beengtesten Platzverhältnissen vorbehalten. Die entscheidende Frage für jede Implementierung ist, wo sich die Wärme tatsächlich konzentriert und ob die Schnittstelle und die Kühlplatte diese bei der angestrebten Sperrschichttemperatur abführen können.
Die Dichte ist jedoch nicht der einzige Faktor. Ob ein Standort einen luftgekühlten Raum nachrüstet oder einen neuen baut, ändert die Anforderungen. Rückseitige und Hybrid-Kühlsysteme nutzen vorhandene Racks und den bestehenden Luftstrom weiter, während direkte Chipkühlung und Immersionskühlung Rohrleitungen, Kühlverteilungseinheiten (CDUs) und geschultes Personal für Flüssigkeitskühlung voraussetzen. Auch die verfügbare Wassertemperatur im Gebäude spielt eine Rolle: Ein System, das wärmeres Kühlmittel verarbeiten kann, kann Trockenkühler anstelle von Kaltwassersätzen verwenden, was einen Großteil der Effizienz von Flüssigkeitskühlungen ausmacht. Der gemeinsame Nenner ist, dass keine Methode den Wärmepfad umgeht. Das Schnittstellenmaterial und die Kühlplattenkonstruktion unter jedem Chip müssen anhand der tatsächlichen Wärmelast überprüft werden, bevor der umgebende Kreislauf ausgewählt wird.
| Verfahren | Wie es den Wärmepfad anzapfen | Typische Passform | Hauptkompromisse |
|---|---|---|---|
| Klimaanlage / Klimaanlage | Bläst kalte Luft über Kühlkörper | Racks mit geringerer Dichte | Im Bereich von einigen zehn Kilowatt ist der Leistungsspielraum erschöpft. |
| Wärmetauscher an der Hecktür | Kühlt die Abluft des Gestells mit einem Flüssigkeitskühler | Nachrüstungen mit mittlerer Dichte und Luftkühlung | Hängt weiterhin von den Serverlüftern des Chips ab. |
| Direkt-zu-Chip-Kühlplatte | Flüssigkeit wird über eine Kühlplatte wenige Millimeter von der Düse entfernt zugeführt. | Die dichtesten KI-Racks (100 kW+) | Benötigt Kühlplatten, Wärmeleitbleche und Wärmeleitpaste an jedem Chip |
| Eintauchen | Der gesamte Server ist in dielektrische Flüssigkeit eingetaucht. | Höchste, raumbeschränkte Dichte | Unterschiedliche Hardware, Flüssigkeitshandhabung, Wartung |
Schlussfolgerung
Kurz gesagt: KI-Server werden gekühlt, indem Wärme in eine Flüssigkeit so nah wie möglich an den Chip geleitet wird, je nach Leistungsdichte: Kühlplatten für die meisten KI-Racks, Wärmetauscher an der Rückseite zur Erweiterung luftgekühlter Räume und im Extremfall Immersionskühlung. Entscheidend ist die Abstimmung der Methode auf die Leistungsdichte des Racks und den Wärmepfad. Oft wird übersehen, dass Flüssigkeitskühlung nicht einfach nur ein Austausch des Kühlmittels ist. Die Kontaktfläche zwischen Chip und Kühlplatte, ihre Ebenheit und das verwendete Material entscheiden darüber, ob ein Kühlkreislauf den Prozessor ausreichend kühlen kann. Verfolgt man die Leistungsaufnahme vom Chip nach außen, ergibt sich meist die geeignete Kühlmethode.
FAQ
Warum können moderne KI-GPUs nicht mehr mit Lüftern gekühlt werden?
Lüfter stoßen an ihre Grenzen, da ein einzelner KI-Beschleuniger über 1000 W und ein Rack über 100 kW verbrauchen kann. Das liegt weit über der Leistung, die Luft bei praxisüblicher Lüfterleistung und Geräuschentwicklung abführen kann. Flüssigkeiten transportieren deutlich mehr Wärme pro Volumeneinheit und halten daher die Sperrschichttemperatur mit einem wesentlich geringeren Temperaturanstieg konstant.
Was befindet sich zwischen der GPU und der Kühlplatte?
Zwischen Chip und Kühlplatte befindet sich eine dünne Wärmeleitschicht, die den mikroskopisch kleinen, unebenen Spalt ausfüllt und so die Wärmeleitung optimiert, anstatt sie in eingeschlossener Luft zu stauen. Das Material – ob Pad, Gel, Paste oder Phasenwechselfilm – wird anhand der Spaltgröße, der Ebenheit und des Anpressdrucks des Gehäuses ausgewählt.
Worin unterscheidet sich die Direktkühlung des Chips von der Immersionskühlung?
Die Direktkühlung des Chips kühlt nur die heißesten Komponenten über eine Kühlplatte, während die restlichen Komponenten durch Luft oder einen anderen Kreislauf gekühlt werden. Im Gegensatz dazu wird der gesamte Server bei der Immersionskühlung in eine dielektrische Flüssigkeit eingetaucht. Die Direktkühlung lässt sich einfacher in bestehende Racks integrieren, und die Immersionskühlung ermöglicht eine höhere Packungsdichte, erfordert jedoch andere Hardware und ein spezielles Flüssigkeitsmanagement.
Spart Flüssigkeitskühlung Wasser?
Flüssigkeitskühlung kann Wasser sparen, wenn sie als geschlossener Kreislauf mit Trockenkühlern betrieben wird, da das Kühlmittel zirkuliert, anstatt zu verdampfen. Ob ein Standort tatsächlich Wasser spart, hängt von der Wärmeabfuhr und den klimatischen Bedingungen ab, nicht allein von der Kühlplatte.
Ab welcher Rackdichte ist eine Flüssigkeitskühlung erforderlich?
Flüssigkeitskühlung wird in der Regel notwendig, sobald die Rackdichte in den zweistelligen Kilowattbereich steigt, da die Luftkühlung dann nicht mehr ausreicht, um Drosselung zu verhindern. Der genaue Grenzwert hängt von den Servern, dem Luftstrom und den Ansaugluftbedingungen ab und sollte daher für jede Installation individuell überprüft und nicht einfach angenommen werden.
Weiterführende Literatur
- Die nächste Generation der KI benötigt Flüssigkeitskühlung (IEEE Spectrum) — IEEE Spectrum, die führende Publikation des IEEE, des Berufsverbands der Ingenieure. Unterstützt den oben verwendeten Vergleich der Wärmekapazität von Wasser und Luft sowie den Unterschied zwischen einphasigem und zweiphasigem Wärmekapazitätsvergleich.
- Flüssigkeitskühlungsoptionen: RDHx, Direktkühlung auf dem Chip, Immersionskühlung (Data Center Knowledge) — Etablierte Fachpublikation der Rechenzentrumsbranche. Unterstützt den Vergleich von rückseitigen, direkten und Immersions-Beschichtungsmethoden sowie deren Vor- und Nachteilen.
Verwandte Artikel
- Vergussmassen — Beschreibt, wie Vergussmassen elektronische Baugruppen schützen und die Wärme von ihnen ableiten; dies ist nützlich, wenn eine Kühlkonstruktion auch die Bauteile abdichten und mechanisch stützen muss.
- Wofür wird Thermogel verwendet? — Erklärt, welche Rolle Wärmeleitgel bei den Grenzflächenmaterialien zum Füllen ungleichmäßiger Spalten spielt, also bei der gleichen Grenzflächenschicht, die in diesem Artikel als entscheidend hervorgehoben wird.
- Wozu dient Wärmeleitpaste bei Computern? — Erklärt, wie Wärmeleitpaste an den Schnittstellen von CPU und GPU funktioniert, also in dem mikroskopisch kleinen Spalt zwischen dem Chip und seiner Kühlplatte.
- Wann sollte Thermogel verwendet werden? — Hilft dabei zu entscheiden, wann ein Gel gegenüber einem Pad oder einer Paste für einen gegebenen Spalt und eine gegebene Montagebedingung besser geeignet ist, und erweitert damit die Logik der Schnittstellenauswahl.
- Welche Wärmeleitpaste ist die beste? — Erklärt, wie man eine “beste” Paste anhand des angestrebten Ergebnisses und der Rahmenbedingungen beurteilt; nützlich, sobald man weiß, dass eine schlechte Schnittstelle jeden Flüssigkeitskreislauf drosselt.
