[email protected]+86 135 8486 2808Suzhou, Chine
Trumonytechs Nouvelles

Comment les serveurs d'IA sont-ils refroidis ?

Envoyer un courriel à un ingénieur
Baies de serveurs IA refroidies par liquide dans un centre de données, illustrant comment les serveurs IA sont refroidis à plus de 100 kW par baie.

Aujourd'hui, le refroidissement des serveurs d'IA est principalement assuré par un système liquide. Plaques froides pressées contre les processeurs, échangeurs de chaleur situés à l'arrière des baies ou immersion complète dans un fluide non conducteur : ces techniques se sont généralisées car l'air seul ne suffit plus à dissiper la chaleur d'une baie d'IA aussi dense. La chaleur suit un parcours précis, quelle que soit la méthode utilisée. Elle quitte la puce de silicium, traverse une fine couche d'interface thermique, pénètre dans une plaque froide métallique ou un fluide de refroidissement, puis s'échappe du bâtiment. Comprendre ce parcours et identifier le point d'application de chaque méthode de refroidissement permet de comprendre pourquoi l'industrie est passée des ventilateurs aux fluides.

Pourquoi le refroidissement par air atteint ses limites aux densités de racks AI

Le refroidissement par air s'avère inefficace aux densités d'IA actuelles, car la chaleur dégagée par rack dépasse largement la capacité d'évacuation de l'air. Un rack d'entreprise classique consomme entre 8 et 10 kW. Les racks d'entraînement d'IA atteignent désormais 100 kW, voire plus, et la puissance par accélérateur est passée de quelques centaines de watts à plus de 1 000 W. Les GPU Blackwell de NVIDIA consomment jusqu'à environ 1 200 W chacun, selon IEEE Spectrum. À cette densité, assurer une ventilation efficace des puces engendrerait une consommation d'énergie et un niveau sonore excessifs, bien avant que le silicium n'atteigne sa température optimale.

Le débit d'air est la première limite à atteindre ses objectifs. L'air ayant une faible capacité thermique, évacuer davantage de chaleur implique de déplacer plus d'air, et le volume nécessaire augmente plus rapidement que l'espace et la puissance des ventilateurs disponibles dans une baie dense. Au-delà d'un certain seuil, les ventilateurs consomment une part croissante de l'énergie, des points chauds se forment là où le flux d'air est irrégulier, et les processeurs commencent à réduire leur fréquence pour se protéger. C'est le point de rupture du matériel d'IA, et c'est pourquoi la question n'est plus de savoir comment refroidir les serveurs d'IA par air, mais plutôt quelle méthode de refroidissement liquide utiliser.

Les lois de la physique privilégient largement le refroidissement liquide. IEEE Spectrum indique que l'eau peut absorber environ 3 000 fois plus de chaleur par unité de volume que l'air et conduit la chaleur environ vingt fois mieux. C'est pourquoi un circuit de refroidissement liquide maintient la température de jonction d'une puce avec un écart de température bien plus faible que ne le ferait un refroidissement par air. Le refroidissement représente également un coût non négligeable. Selon certaines estimations d'opérateurs, il peut représenter jusqu'à 401 TP4 T de la consommation électrique d'un centre de données. Cette efficacité influe directement sur les coûts d'exploitation et, par conséquent, sur la puissance de calcul qu'un site peut installer avec la même consommation énergétique.

Chemin de la chaleur : de la puce graphique à la plaque froide, en passant par les matériaux d’interface thermique

Chaque méthode de refroidissement commence par le même goulot d'étranglement : évacuer la chaleur de la puce et la faire passer à travers le minuscule espace entre la puce (ou son couvercle) et le système de refroidissement. Cet espace n'étant jamais parfaitement plat, une fine couche de matériaux d'interface thermique Le circuit se remplit et remplace l'air isolant par un chemin conducteur vers la plaque froide ou le dissipateur thermique. Si cette interface est défectueuse, aucune boucle en aval, même froide, ne peut évacuer la chaleur suffisamment rapidement, et le processeur réduit sa fréquence.

Schéma du chemin thermique pour le refroidissement d'un serveur d'IA : du GPU à la plaque froide, en passant par le matériau d'interface thermique, le liquide de refroidissement et l'unité de refroidissement.

L'interface est cruciale car les résistances thermiques s'accumulent en série le long du trajet de la chaleur. Avant d'atteindre le fluide de refroidissement, la chaleur doit traverser la jonction puce-couvercle, la couche d'interface et la paroi de la plaque froide ; le maillon le plus faible limite les performances. Une grande plaque froide à basse température ne peut compenser une interface de mauvaise qualité directement sous la puce. C'est pourquoi la couche d'interface, bien que d'une épaisseur de quelques fractions de millimètre seulement, est considérée comme une variable de conception à part entière, et non comme un élément secondaire.

Le choix de l'interface dépend de l'assemblage, et pas seulement du liquide de refroidissement. Les espaces plus importants ou irréguliers sont généralement comblés par des mastics conformables ou coussinets thermiques Le choix des couvercles se fait en fonction de leur résistance à la pression de montage et de leur planéité, tandis que les couvercles fins et plats peuvent utiliser des pâtes ou des films à changement de phase. La conductivité spécifique et l'épaisseur dépendent du matériau et de la méthode de montage ; aucune référence unique ne les fixe. Les fournisseurs de composants, tels que Trumonytechs, interviennent à ce niveau, en adaptant les plaques froides et les matériaux d'interface à l'espacement, aux contraintes d'assemblage et à la charge thermique d'un boîtier donné. Le refroidissement des batteries repose sur les mêmes principes d'ingénierie d'interface.

Refroidissement liquide direct sur puce (plaque froide)

Le refroidissement direct sur puce est la méthode dominante pour les baies d'IA haute densité : une plaque froide métallique à canaux internes est placée directement sur chaque processeur et transporte le liquide de refroidissement à quelques millimètres de la source de chaleur. Selon les descriptions publiques des systèmes de production, environ 70 % de la chaleur de la baie est ainsi captée, tandis qu'une partie est encore évacuée par l'air ambiant, dissipant la chaleur résiduelle des étages de mémoire et d'alimentation. Le liquide de refroidissement est souvent composé d'eau additionnée de glycol pour prévenir le gel, la corrosion et la prolifération bactérienne, puis acheminé vers l'extérieur via une unité de distribution de liquide de refroidissement (CDU).

Plaque froide directement sur la puce, montée sur un accélérateur d'IA avec raccords de refroidissement pour refroidissement haute densité en rack

L'unité de distribution de fluide (CDU) constitue la limite qui rend cette approche applicable à grande échelle. Elle isole le circuit propre et contrôlé en contact avec les puces de l'eau du réseau extérieur et distribue le flux à chaque rack via des collecteurs. Les opérateurs peuvent ainsi maintenir le circuit côté puces à la température souhaitée par les serveurs, tandis que le circuit côté bâtiment évacue la chaleur grâce à des refroidisseurs secs ou des refroidisseurs d'air. Le circuit restant étanche, le même fluide de refroidissement est recyclé au lieu d'être consommé, et la conception intègre de série la détection des fuites et des raccords rapides.

Injection directe monophasée sur puce

Le refroidissement monophasé direct sur la puce maintient le liquide de refroidissement à l'état liquide tout au long du circuit, privilégiant la simplicité du circuit au détriment d'un débit plus élevé. Le fluide pénètre dans la plaque froide, se réchauffe, puis en ressort sans bouillir, ce qui simplifie le système mais exige un pompage constant. Les systèmes de refroidissement à eau chaude de NVIDIA, par exemple, utilisent un mélange d'eau 75% et de propylène glycol 25% et acceptent un liquide de refroidissement jusqu'à 45 °C dans un circuit fermé. Cette température permet à de nombreux sites d'évacuer la chaleur à l'aide de refroidisseurs secs plutôt que de systèmes de refroidissement énergivores.

Injection directe biphasée sur puce

Le refroidissement direct sur puce en deux phases permet au fluide caloporteur de bouillir au contact de la surface chaude, exploitant la chaleur latente de vaporisation pour transférer une quantité de chaleur bien supérieure par unité de débit. IEEE Spectrum décrit des méthodes en deux phases offrant une capacité de refroidissement de dix à cent fois supérieure à celle d'un liquide monophasique, pour un débit considérablement réduit. En contrepartie, le système est plus complexe et nécessite des fluides soigneusement sélectionnés et confinés.

Échangeurs de chaleur de porte arrière et refroidissement hybride air-liquide

Les échangeurs de chaleur de porte arrière refroidissent l'air sortant d'une baie, et non la puce elle-même. Ils constituent ainsi la solution de refroidissement liquide la plus simple pour une salle à refroidissement par air existante. Un serpentin de refroidissement liquide remplace la porte arrière de la baie ; les ventilateurs des serveurs évacuent l'air chaud à travers ce serpentin, et l'eau glacée évacue la chaleur avant qu'elle ne soit réintroduite dans la salle. Les capacités annoncées atteignent environ 75 kW par baie, ce qui est suffisant pour étendre les infrastructures à refroidissement par air à une densité d'IA modérée sans avoir à raccorder chaque puce à un circuit de refroidissement liquide. Les portes passives utilisent les ventilateurs des serveurs, tandis que les portes actives ajoutent leurs propres ventilateurs pour une plus grande marge de manœuvre.

Les architectures hybrides associent des plaques de refroidissement direct sur puce à un refroidissement par air ou par l'arrière dans le même rack. Les plaques froides supportent la charge concentrée des GPU et des CPU tandis que l'air gère les composants à faible consommation, une solution souvent privilégiée lorsqu'un site ne peut pas opter immédiatement pour un refroidissement liquide intégral.

Refroidissement par immersion

Le refroidissement par immersion consiste à plonger des serveurs entiers dans un fluide diélectrique non conducteur, éliminant ainsi le besoin de ventilateurs et de circuits de refroidissement individuels. Le fluide étant en contact avec chaque composant, la chaleur se dissipe uniformément sur toute la surface des cartes, et non par une seule plaque, ce qui permet une très haute densité de composants dans un format compact. La suppression des ventilateurs élimine également un point de défaillance fréquent et une grande partie du bruit, tout en libérant l'espace qu'ils occupaient avec les dissipateurs thermiques. Les inconvénients résident dans un matériel différent, de nouvelles procédures de maintenance et la manipulation du fluide. La maintenance d'une carte implique de la sortir du bain, et les opérateurs doivent même remplacer certains matériaux d'interface thermique standard, car ils peuvent se dégrader au fil du temps dans le fluide.

Serveurs d'IA immergés dans un fluide diélectrique pour un refroidissement par immersion à haute densité de puissance du rack

Immersion monophasée

L'immersion monophasique maintient le fluide diélectrique à l'état liquide et le pompe vers un échangeur de chaleur externe. Cette approche, mécaniquement simple et sans ventilateur, nécessite néanmoins une circulation et des contrôles périodiques du fluide pour garantir sa fiabilité.

Immersion biphasique

L'immersion diphasique permet au fluide de s'évaporer des composants et de se condenser sur un serpentin refroidi situé au-dessus du réservoir, exploitant ainsi la chaleur latente pour un flux thermique très élevé. Les fluides diélectriques utilisés sont formulés pour s'évaporer à basse température, généralement entre 34 et 56 °C, ce qui permet de maintenir les composants à une température proche de la température contrôlée. Le coût du fluide et le confinement constituent les principales contraintes.

Adapter la méthode de refroidissement à la densité des racks

Le choix de la méthode de refroidissement dépend avant tout de la densité de puissance du rack. Le refroidissement par air et par porte arrière reste adapté aux racks de faible densité. Le refroidissement direct sur la puce devient la norme dès que la densité de puissance dépasse le seuil de limitation par air, généralement de l'ordre de quelques dizaines de kilowatts. Le refroidissement par immersion est réservé aux densités les plus élevées, dans les espaces les plus restreints. Pour tout déploiement, il est essentiel de déterminer où la chaleur se concentre et si la conception de l'interface et de la plaque froide permet de l'évacuer à la température de jonction cible.

Tableau comparatif des méthodes de refroidissement des serveurs IA et de la densité de puissance des racks : refroidissement par air, par porte arrière, par contact direct avec la puce et par immersion.

La densité n'est cependant pas la seule variable. Le choix dépend aussi de la nature du projet : rénovation d'une salle refroidie par air ou construction d'une nouvelle. Les conceptions à porte arrière et hybrides réutilisent les racks et la circulation d'air existants, tandis que les systèmes de refroidissement direct sur puce et par immersion nécessitent une installation de plomberie, des unités de distribution d'air (CDU) et du personnel formé au refroidissement liquide. La température de l'eau disponible est également importante : une conception acceptant un liquide de refroidissement plus chaud peut privilégier les refroidisseurs secs aux refroidisseurs à eau, ce qui explique en grande partie l'efficacité du refroidissement liquide. Un point essentiel demeure : aucune méthode ne permet d'échapper à la chaleur. Le matériau d'interface et la conception de la plaque froide sous chaque puce doivent être validés par rapport à la charge thermique réelle avant le choix du circuit de refroidissement.

MéthodeComment il exploite le chemin de la chaleurCoupe typiqueCompromis principal
Air / CRACSouffle de l'air froid sur les dissipateurs thermiquesRayonnages à plus faible densitéLa marge de manœuvre devient insuffisante dans les dizaines de kW.
Échangeur de chaleur de porte arrièreRefroidit l'air d'échappement du rack grâce à un serpentin à liquideRénovations à densité moyenne et refroidissement par airCela dépend toujours des ventilateurs du serveur au niveau de la puce
Plaque froide directe sur puceLiquide à quelques millimètres de la puce via une plaque froideLes racks d'IA les plus denses (100 kW+)Nécessite des plaques froides, des CDU et de la TIM à chaque puce
ImmersionServeur entier immergé dans un fluide diélectriqueDensité maximale dans un espace limitéMatériel différent, gestion des fluides, maintenance

Conclusion

En résumé, les serveurs d'IA sont refroidis en dissipant la chaleur dans un liquide au plus près de la puce, selon la densité de puissance requise : plaques froides pour la plupart des baies d'IA, échangeurs de chaleur à l'arrière pour les salles refroidies par air, et immersion dans les cas extrêmes. Le choix de la méthode dépend de la densité de puissance de la baie et du circuit de refroidissement. On oublie souvent que le refroidissement liquide ne se résume pas à un simple changement de liquide de refroidissement. L'interface entre la puce et la plaque froide, sa planéité et les matériaux utilisés déterminent si un circuit peut maintenir le processeur à une température acceptable. En suivant la courbe de puissance de la puce vers l'extérieur, la méthode de refroidissement appropriée s'impose généralement d'elle-même.

FAQ

Pourquoi les ventilateurs ne peuvent-ils plus refroidir un GPU d'IA moderne ?

Les ventilateurs atteignent leurs limites car un seul accélérateur d'IA peut dissiper plus de 1 000 W et un rack peut dépasser 100 kW. C'est bien plus que ce que l'air en mouvement peut évacuer à un niveau de puissance et de bruit raisonnable pour un ventilateur. Le liquide transporte beaucoup plus de chaleur par unité de volume, il maintient donc la température de jonction avec une élévation de température bien moindre.

Qu'est-ce qui se trouve entre le GPU et la plaque froide ?

Une fine couche d'interface thermique est placée entre la puce et la plaque froide, comblant l'espace microscopique et irrégulier afin que la chaleur se propage sans être bloquée par de l'air emprisonné. Le matériau, qu'il s'agisse d'une pastille, d'un gel, d'une pâte ou d'un film à changement de phase, est choisi en fonction de la taille de l'espace, de sa planéité et de la pression de montage du boîtier.

En quoi le refroidissement direct sur la puce diffère-t-il du refroidissement par immersion ?

Le refroidissement direct sur puce refroidit uniquement les composants les plus chauds grâce à une plaque froide, tandis que l'air ou un autre circuit refroidit le reste. Le refroidissement par immersion, quant à lui, immerge l'intégralité du serveur dans un fluide diélectrique. Le refroidissement direct sur puce s'intègre plus facilement dans les racks existants, et le refroidissement par immersion permet d'atteindre une densité plus élevée, mais nécessite un matériel et une gestion des fluides différents.

Le refroidissement liquide permet-il d'économiser l'eau ?

Le refroidissement liquide permet d'économiser l'eau lorsqu'il fonctionne en circuit fermé avec évacuation par des refroidisseurs secs, car le fluide caloporteur est recirculé au lieu de s'évaporer. L'économie d'eau réelle d'un site dépend de sa conception d'évacuation de la chaleur et du climat, et non de la seule plaque froide.

Quelle densité de racks nécessite un refroidissement liquide ?

Le refroidissement liquide devient généralement nécessaire lorsque la densité de puissance des racks atteint plusieurs dizaines de kilowatts, car l'air ne suffit plus à éviter la limitation de fréquence. Le seuil exact dépend des serveurs, du flux d'air et des conditions d'entrée d'air ; il convient donc de le vérifier pour chaque déploiement et de ne jamais le tenir pour acquis.

Pour en savoir plus

  • Produits d'enrobage — Explique comment les agents d'encapsulation protègent et évacuent la chaleur des assemblages électroniques, ce qui est utile lorsqu'une conception de refroidissement doit également sceller et supporter mécaniquement les composants.
  • À quoi sert le gel thermique ? — Explique la place du gel thermique parmi les matériaux d'interface destinés à combler les espaces irréguliers, cette même couche d'interface que cet article qualifie de décisive.
  • Qu'est-ce que la pâte thermique pour ordinateurs ? — Explique en détail le fonctionnement de la pâte thermique aux interfaces CPU et GPU, c'est-à-dire l'espace microscopique situé entre une puce et sa plaque froide.
  • Quand utiliser le gel thermique ? — Permet de déterminer quand un gel est préférable à un tampon ou à une pâte pour un écart et des conditions de montage donnés, étendant ainsi la logique de sélection de l'interface.
  • Quelle est la meilleure pâte thermique ? — Explique comment juger une “ meilleure ” pâte en fonction du résultat visé et des contraintes, ce qui est utile une fois que l'on sait qu'une mauvaise interface entrave toute boucle de liquide.

Besoin d'une solution de gestion thermique personnalisée ?

Nos ingénieurs vous offrent une consultation gratuite et une conception sur mesure adaptée à vos besoins spécifiques.