Oggi i server per l'intelligenza artificiale vengono raffreddati principalmente a liquido. Piastre di raffreddamento applicate sui processori, scambiatori di calore sul retro dei rack o l'immersione completa in un fluido non conduttivo sono diventati la soluzione preferita, poiché l'aria da sola non è più sufficiente a dissipare il calore generato da un rack per IA ad alta densità. Il calore segue un percorso fisso, indipendentemente dal metodo utilizzato: esce dal die di silicio, attraversa un sottile strato di interfaccia termica, entra in una piastra di raffreddamento metallica o nel liquido refrigerante e infine viene espulso dall'ambiente. Comprendere questo percorso e il punto in cui ciascun metodo di raffreddamento interviene spiega perché il settore si è spostato dalle ventole ai fluidi.
Perché il raffreddamento ad aria non è sufficiente alle densità di rack AI
Il raffreddamento ad aria risulta inadeguato alle densità richieste dall'IA perché il calore generato da ciascun rack ha superato la capacità di dissipazione dell'aria. Un rack aziendale convenzionale assorbe circa 8-10 kW. I rack per l'addestramento di sistemi IA raggiungono ora i 100 kW e oltre, e la potenza per acceleratore è passata da poche centinaia di watt a ben oltre 1.000 W. Le GPU Blackwell di NVIDIA assorbono fino a circa 1.200 W ciascuna, secondo quanto riportato da IEEE Spectrum. Far circolare una quantità sufficiente di aria fredda sui chip a tale densità significa richiedere una potenza delle ventole e generare rumore eccessivi ben prima che i chip raggiungano una temperatura ottimale.
Il flusso d'aria è il limite specifico che cede per primo. L'aria ha una bassa capacità termica, quindi rimuovere più calore significa spostare più aria, e il volume necessario aumenta più rapidamente dello spazio e della potenza delle ventole disponibili all'interno di un rack denso. Oltre un certo punto, le ventole consumano una quota crescente del budget energetico, si formano punti caldi dove il flusso d'aria è irregolare e i processori iniziano a ridurre le prestazioni per proteggersi. Questo è il limite raggiunto dall'hardware per l'IA, ed è per questo che la domanda si è spostata da come raffreddare i server per l'IA con l'aria a quale metodo di raffreddamento a liquido utilizzare.
La fisica favorisce di gran lunga i liquidi. IEEE Spectrum osserva che l'acqua può assorbire circa 3.000 volte più calore per unità di volume rispetto all'aria e conduce il calore circa venti volte meglio. Ecco perché un circuito a liquido mantiene la temperatura di giunzione di un chip con una differenza di temperatura di gran lunga inferiore rispetto a quanto potrebbe mai fare l'aria. Anche il raffreddamento non è un costo trascurabile. Secondo alcune stime degli operatori, può rappresentare fino a 401 TP4T dell'elettricità consumata da un data center. Tale efficienza incide direttamente sui costi operativi e, di conseguenza, sulla quantità di potenza di calcolo che un sito può installare con la stessa disponibilità di energia.
Il percorso del calore: dal die della GPU, attraverso i materiali dell'interfaccia termica, fino alla piastra di raffreddamento.
Ogni metodo di raffreddamento inizia dallo stesso collo di bottiglia: togliere il calore dal chip e farlo passare attraverso il piccolo spazio tra il die o il suo coperchio e l'hardware di raffreddamento. Tale spazio non è mai perfettamente piatto, quindi un sottile strato di materiali di interfaccia termica riempie lo spazio e sostituisce l'aria isolante con un percorso conduttivo verso la piastra fredda o il dissipatore di calore. Quando questa interfaccia è scadente, nessun circuito a valle, per quanto freddo, riesce a dissipare il calore abbastanza velocemente e il processore rallenta.
L'interfaccia è fondamentale perché le resistenze termiche si sommano in serie lungo il percorso del calore. Il calore deve attraversare la giunzione tra il die e il coperchio, lo strato di interfaccia e la parete della piastra di raffreddamento prima di raggiungere il liquido refrigerante, e l'anello più debole determina il limite massimo. Una piastra di raffreddamento di grandi dimensioni e a bassa temperatura non può compensare una scarsa interfaccia direttamente sotto il chip. Ecco perché lo strato di interfaccia, sebbene spesso solo una frazione di millimetro, viene considerato una variabile di progettazione, non un elemento da aggiungere in un secondo momento.
La selezione dell'interfaccia segue l'assemblaggio, non solo il refrigerante. Gli spazi più ampi o irregolari vengono solitamente colmati con riempitivi per spazi conformabili o cuscinetti termici I coperchi sottili e piatti vengono scelti in base alla loro capacità di gestire la pressione di montaggio e alla planarità, mentre per i coperchi più sottili e piatti si possono utilizzare paste o pellicole a cambiamento di fase. La conduttività specifica e lo spessore dipendono dal materiale e dal metodo di montaggio, e non esiste un singolo codice articolo che li definisca in modo univoco. Fornitori di componenti come Trumonytechs operano a questo livello, adattando le piastre di raffreddamento e i materiali di interfaccia allo spazio, alle sollecitazioni di assemblaggio e al carico termico di un determinato package. La stessa ingegneria di interfaccia regola il raffreddamento del pacco batteria.
Raffreddamento a liquido diretto sul chip (a piastra fredda)
Il raffreddamento diretto al chip è l'approccio dominante per i rack AI ad alta densità: una piastra metallica con canali interni è posizionata direttamente su ciascun processore e trasporta il liquido refrigerante a pochi millimetri dalla fonte di calore. Le descrizioni pubbliche dei sistemi di produzione indicano che la quota di calore del rack catturata in questo modo si aggira tra il 70 e il 90% per processore, mentre una parte del calore residuo proveniente dalle memorie e dagli stadi di alimentazione viene ancora dissipata tramite aria. Il liquido refrigerante è spesso acqua con aggiunta di glicole per prevenire il congelamento, la corrosione e la proliferazione batterica, e viene poi convogliato attraverso un'unità di distribuzione del refrigerante (CDU) per la dissipazione del calore all'esterno.
L'unità CDU è l'elemento di confine che rende l'approccio pratico su larga scala. Isola il circuito pulito e controllato a contatto con i chip dall'acqua di raffreddamento esterna dell'impianto e distribuisce il flusso a ciascun rack tramite collettori. Gli operatori possono quindi far funzionare il circuito lato chip alla temperatura desiderata dai server, mentre il circuito lato impianto dissipa il calore tramite refrigeratori a secco o refrigeratori. Poiché il circuito rimane sigillato, lo stesso fluido refrigerante viene ricircolato anziché essere consumato e il progetto prevede di serie sistemi di rilevamento perdite e raccordi a sgancio rapido.
Monofase Direct-to-Chip
Il raffreddamento diretto al chip monofase mantiene il liquido refrigerante allo stato liquido per tutto il percorso, sacrificando una maggiore portata a favore di un circuito più semplice. Il fluido entra nella piastra di raffreddamento, si riscalda ed esce senza bollire, il che semplifica il sistema ma richiede un pompaggio costante. I sistemi di raffreddamento ad acqua calda di NVIDIA, ad esempio, utilizzano una miscela di circa 751 TP4T di acqua e 251 TP4T di glicole propilenico e accettano un refrigerante con temperature fino a 45 °C in un circuito chiuso. Tale temperatura consente a molti siti di dissipare il calore con sistemi di raffreddamento a secco anziché con refrigeratori ad alto consumo energetico.
Bifase Direct-to-Chip
Il raffreddamento bifase diretto sul chip permette al refrigerante di bollire sulla superficie calda, sfruttando il calore latente di evaporazione per trasferire una quantità di calore di gran lunga superiore per unità di flusso. IEEE Spectrum descrive metodi bifase che offrono una capacità di raffreddamento da dieci a cento volte superiore rispetto a un liquido monofase, a una frazione della portata. Il compromesso consiste in un sistema sigillato più complesso e in fluidi che devono essere selezionati e contenuti con cura.
Scambiatori di calore per le portiere posteriori e raffreddamento ibrido aria-liquido
Gli scambiatori di calore a porta posteriore raffreddano l'aria in uscita dal rack, non il chip stesso, il che li rende la soluzione più semplice per l'installazione di un sistema di raffreddamento a liquido in una sala server già esistente con raffreddamento ad aria. Una serpentina di raffreddamento a liquido sostituisce la porta posteriore del rack, le ventole dei server spingono l'aria calda attraverso di essa e l'acqua refrigerata disperde il calore prima che rientri nella stanza. Le capacità dichiarate arrivano fino a circa 75 kW per rack, sufficienti per estendere le strutture con raffreddamento ad aria a densità di intelligenza artificiale moderata senza dover installare un sistema di raffreddamento a liquido per ogni singolo chip. Le porte passive si affidano alle ventole dei server, mentre le porte attive aggiungono le proprie ventole per una maggiore capacità di raffreddamento.
Le configurazioni ibride combinano piastre di raffreddamento a contatto diretto con il raffreddamento ad aria o tramite sportello posteriore nello stesso rack. Le piastre di raffreddamento gestiscono il carico concentrato di GPU e CPU, mentre l'aria si occupa dei componenti a basso consumo, una soluzione spesso pratica quando non è possibile implementare fin da subito un sistema di raffreddamento a liquido completo.
Raffreddamento a immersione
Il raffreddamento a immersione immerge interi server in un fluido dielettrico non conduttivo, eliminando la necessità di ventole e di tubazioni per ogni singolo chip. Poiché il fluido entra in contatto con ogni componente, il calore viene dissipato uniformemente dalle schede su ogni superficie, e non attraverso una singola piastra, consentendo un'altissima densità in uno spazio compatto. L'eliminazione delle ventole elimina anche un punto critico di guasto e gran parte del rumore acustico, liberando inoltre il volume che ventole e dissipatori di calore occuperebbero. I compromessi da considerare sono l'hardware differente, le nuove procedure di manutenzione e la gestione del fluido. La manutenzione di una scheda implica la sua estrazione dalla vasca e gli operatori sono costretti a sostituire alcuni materiali standard per l'interfaccia termica, poiché possono degradarsi nel fluido nel tempo.
Immersione monofase
Il sistema a immersione monofase mantiene il fluido dielettrico allo stato liquido e lo pompa verso uno scambiatore di calore esterno. Questo approccio è meccanicamente semplice ed elimina la necessità di ventole, ma richiede comunque la circolazione del fluido e test periodici per garantirne l'affidabilità.
Immersione bifase
L'immersione bifase permette al fluido di evaporare dai componenti e condensarsi su una serpentina raffreddata posta sopra il serbatoio, sfruttando ancora una volta il calore latente per ottenere un flusso termico molto elevato. I fluidi dielettrici ingegnerizzati sono formulati per bollire a basse temperature, generalmente comprese tra 34 e 56 °C, in modo che i componenti rimangano a una temperatura controllata. I principali vincoli sono rappresentati dal costo del fluido e dal contenimento.
Abbinamento del metodo di raffreddamento alla densità dei rack
La scelta del metodo dipende principalmente dalla densità di potenza del rack. Il raffreddamento ad aria e quello tramite sportello posteriore sono ancora adatti per rack a bassa densità. Il raffreddamento diretto al chip diventa la soluzione predefinita quando un rack supera la densità oltre la quale il solo raffreddamento ad aria inizia a limitare le prestazioni, un valore che si aggira solitamente sulle decine di kilowatt. Il raffreddamento a immersione è riservato alle densità più elevate e a quelle con spazio limitato. La questione cruciale per qualsiasi implementazione è dove si concentra effettivamente il calore e se l'interfaccia e la piastra di raffreddamento sono in grado di dissiparlo alla temperatura di giunzione desiderata.
La densità non è l'unica variabile, però. Il fatto che si tratti di un ammodernamento di una sala raffreddata ad aria o di una nuova costruzione cambia la risposta. Le soluzioni con sportello posteriore e ibride riutilizzano i rack e il flusso d'aria esistenti, mentre le soluzioni a raffreddamento diretto al chip e a immersione presuppongono impianti idraulici, unità di distribuzione dell'aria (CDU) e personale specializzato nella gestione dei liquidi. Anche la temperatura dell'acqua disponibile nell'impianto è importante: una soluzione che accetta un refrigerante più caldo può utilizzare scambiatori di calore a secco anziché refrigeratori, che sono la principale fonte di efficienza del raffreddamento a liquido. Il filo conduttore è che nessun metodo sfugge al percorso del calore. Il materiale di interfaccia e il design della piastra di raffreddamento sotto ogni chip devono essere verificati in base al carico termico reale prima di scegliere il circuito circostante.
| Metodo | Come sfrutta il percorso del calore | vestibilità tipica | Principale compromesso |
|---|---|---|---|
| Aria / CRAC | Soffia aria fredda sui dissipatori di calore | Rack a bassa densità | Il margine di sicurezza si esaurisce nelle decine di kW |
| Scambiatore di calore della porta posteriore | Raffredda l'aria di scarico del rack tramite una serpentina a liquido. | Ristrutturazioni a densità moderata, con raffreddamento ad aria. | Dipende ancora dalle ventole del server sul chip |
| Piastra di raffreddamento a contatto diretto con il chip | Liquido a pochi millimetri dalla matrice tramite una piastra fredda | Rack AI ad alta densità (100 kW+) | Necessita di piastre di raffreddamento, CDU e TIM per ogni chip |
| Immersione | L'intero server immerso in un fluido dielettrico. | Massima densità, limitata dallo spazio disponibile | Hardware diverso, gestione dei fluidi, manutenzione |
Conclusione
In breve, i server AI vengono raffreddati trasferendo il calore a un liquido il più vicino possibile al chip, a seconda della densità di potenza: piastre di raffreddamento per la maggior parte dei rack AI, scambiatori di calore a porta posteriore per ottimizzare il raffreddamento ad aria delle sale server e, nei casi più estremi, immersione. La scelta del metodo più adatto è in base alla densità di potenza del rack e al percorso di dissipazione del calore. L'aspetto più spesso trascurato è che il raffreddamento a liquido non si limita alla semplice sostituzione del fluido refrigerante. L'interfaccia tra il die e la piastra di raffreddamento, la sua planarità e il materiale di cui è composta determinano se un qualsiasi circuito è in grado di mantenere il processore entro i limiti di temperatura ottimali. Seguendo la curva di potenza dal die verso l'esterno, il metodo di raffreddamento più appropriato si rivela solitamente evidente.
FAQ
Perché le ventole non riescono più a raffreddare una GPU AI moderna?
Le ventole non riescono a gestire la potenza dissipata perché un singolo acceleratore AI può dissipare oltre 1.000 W e un rack può superare i 100 kW. Si tratta di valori ben superiori a quelli che l'aria in movimento è in grado di dissipare a livelli pratici di potenza e rumorosità delle ventole. Il liquido trasporta molto più calore per unità di volume, quindi mantiene la temperatura di giunzione con un aumento di temperatura molto inferiore.
Cosa si trova tra la GPU e la piastra di raffreddamento?
Un sottile strato di interfaccia termica si interpone tra il chip e la piastra fredda, riempiendo lo spazio microscopico e irregolare in modo che il calore venga condotto anziché ristagnare nell'aria intrappolata. Il materiale, che si tratti di un pad, un gel, una pasta o una pellicola a cambiamento di fase, viene scelto in base alle dimensioni dello spazio, alla planarità e alla pressione di montaggio del package.
In che modo il raffreddamento diretto sul chip si differenzia dal raffreddamento a immersione?
Il raffreddamento diretto sul chip (DTC) raffredda solo i componenti più caldi tramite una piastra di raffreddamento, mentre l'aria o un altro circuito si occupa del resto, mentre il raffreddamento a immersione immerge l'intero server in un fluido dielettrico. Il DTC si integra più facilmente nei rack esistenti, mentre il raffreddamento a immersione raggiunge una densità maggiore ma richiede hardware e sistemi di gestione dei fluidi differenti.
Il raffreddamento a liquido consente di risparmiare acqua?
Il raffreddamento a liquido può far risparmiare acqua quando funziona in un circuito chiuso con scambiatore di calore attraverso scambiatori a secco, poiché lo stesso refrigerante viene ricircolato anziché evaporare. L'effettivo risparmio idrico di un sito dipende dalla progettazione del sistema di dissipazione del calore e dal clima, non solo dalla piastra di raffreddamento.
Quale densità di rack richiede il raffreddamento a liquido?
Il raffreddamento a liquido diventa generalmente necessario quando la densità dei rack raggiunge le decine di kilowatt, dove l'aria non è più sufficiente a impedire il throttling. Il punto di svolta esatto dipende dai server, dal flusso d'aria e dalle condizioni dell'aria in ingresso, quindi deve essere verificato per ogni singola implementazione e mai dato per scontato.
Per approfondire
- L'intelligenza artificiale di nuova generazione necessita di raffreddamento a liquido (IEEE Spectrum) — IEEE Spectrum, la pubblicazione di punta dell'organismo professionale di ingegneria IEEE. Supporta il confronto tra la capacità termica dell'acqua e quella dell'aria e la differenza di capacità tra monofase e bifase utilizzate sopra.
- Opzioni di raffreddamento a liquido: RDHx, Direct-to-Chip, Immersione (Conoscenza dei Data Center) — Pubblicazione affermata nel settore dei data center. Supporta il confronto tra i metodi di saldatura a porta posteriore, a contatto diretto con il chip e a immersione, analizzandone i compromessi.
Articoli correlati
- Composti per l'intaso — Descrive come i materiali di incapsulamento proteggono e dissipano il calore dai componenti elettronici, risultando utile quando un sistema di raffreddamento deve anche sigillare e supportare meccanicamente i componenti.
- A cosa serve il gel termico? — Spiega dove si colloca il gel termico tra i materiali di interfaccia per riempire gli spazi irregolari, lo stesso strato di interfaccia che questo articolo indica come decisivo.
- Cos'è la pasta termica per i computer — Spiega in dettaglio come funziona la pasta termica nelle interfacce tra CPU e GPU, ovvero nello spazio microscopico che si trova tra il die e la sua piastra di raffreddamento.
- Quando utilizzare il gel termico? — Aiuta a decidere quando un gel è preferibile a un tampone o a una pasta per un dato spazio e condizioni di montaggio, estendendo la logica di selezione dell'interfaccia.
- Qual è la pasta termica migliore? — Chiarisce come valutare una pasta "ottimale" in base al risultato desiderato e ai vincoli, utile una volta appurato che un'interfaccia scadente limita qualsiasi circuito liquido.
