[email protected]+86 135 8486 2808Suzhou, China
Noticias Trumonytechs

¿Cómo se enfrían los servidores de IA?

Enviar un correo electrónico a un ingeniero
Racks de servidores de IA refrigerados por líquido en un centro de datos que muestran cómo se enfrían los servidores de IA a más de 100 kW por rack.

Actualmente, los servidores de IA se enfrían principalmente mediante líquidos. Las placas de refrigeración presionadas sobre los procesadores, los intercambiadores de calor en la parte posterior del rack o la inmersión total en un fluido no conductor se han impuesto, ya que el aire por sí solo ya no puede disipar el calor de un rack de IA de alta densidad. El calor sigue una trayectoria fija independientemente del método. Sale del chip de silicio, atraviesa una fina capa de interfaz térmica, entra en una placa de refrigeración metálica o en el refrigerante y, finalmente, sale del edificio. Comprender esa trayectoria y en qué punto de la trayectoria interviene cada método de refrigeración explica por qué la industria ha pasado de los ventiladores a los fluidos.

¿Por qué la refrigeración por aire se agota con densidades de racks de IA?

La refrigeración por aire falla a densidades de IA porque el calor por rack ha superado la capacidad de disipación del aire en movimiento. Un rack empresarial convencional consume entre 8 y 10 kW. Los racks de entrenamiento de IA alcanzan ahora los 100 kW e incluso más, y la potencia por acelerador ha pasado de unos pocos cientos de vatios a más de 1000 W. Las GPU Blackwell de NVIDIA consumen hasta aproximadamente 1200 W cada una, según un informe de IEEE Spectrum. Impulsar suficiente aire frío a través de los chips a esa densidad implica un consumo excesivo de energía y un ruido excesivo para los ventiladores mucho antes de que el silicio alcance una temperatura óptima.

El flujo de aire es el límite específico que cede primero. El aire tiene una baja capacidad calorífica, por lo que eliminar más calor implica mover más aire, y el volumen necesario aumenta más rápido que el espacio y la potencia de los ventiladores disponibles dentro de un rack denso. A partir de cierto punto, los ventiladores consumen una proporción cada vez mayor del presupuesto energético, se forman puntos calientes donde el flujo de aire es irregular y los procesadores comienzan a reducir su rendimiento para protegerse. Ese es el límite con el que se topa el hardware de IA, y es la razón por la que la pregunta pasó de cómo refrigerar los servidores de IA con aire a qué método de refrigeración líquida utilizar.

La física favorece ampliamente a los líquidos. IEEE Spectrum señala que el agua puede absorber hasta 3000 veces más calor por unidad de volumen que el aire y conduce el calor aproximadamente veinte veces mejor. Por eso, un circuito de refrigeración líquida mantiene la temperatura de la unión de un chip con una diferencia de temperatura mucho menor que la que podría lograr el aire. La refrigeración tampoco supone un coste insignificante. Según estimaciones de algunos operadores, puede representar hasta 401 TP4T de la electricidad de un centro de datos. Esta eficiencia influye directamente en el coste operativo y, por consiguiente, en la capacidad de procesamiento que un centro puede instalar con el mismo consumo energético.

La ruta del calor: desde el chip de la GPU a través de los materiales de la interfaz térmica hasta la placa fría.

Cada método de enfriamiento comienza en el mismo cuello de botella: hacer que el calor salga del chip y pase a través del pequeño espacio entre el chip o su tapa y el hardware de enfriamiento. Ese espacio nunca es perfectamente plano, por lo que una capa delgada de materiales de interfaz térmica Lo llena y reemplaza el aire aislante con una vía conductora hacia la placa fría o el disipador de calor. Cuando esa interfaz es deficiente, ningún circuito posterior, por muy frío que sea, puede extraer el calor con la suficiente rapidez, y el procesador reduce su rendimiento.

Diagrama de la ruta térmica para la refrigeración de un servidor de IA desde el chip de la GPU a través del material de interfaz térmica hasta la placa fría, el refrigerante y la unidad de distribución de calor (CDU).

La interfaz es crucial porque las resistencias térmicas se suman en serie a lo largo del recorrido del calor. El calor debe atravesar la unión entre el chip y la tapa, la capa de interfaz y la pared de la placa fría antes de llegar al refrigerante, y el punto más débil determina el límite. Una placa fría grande y de baja temperatura no puede compensar una interfaz deficiente justo debajo del chip. Por eso, la capa de interfaz, aunque solo tenga una fracción de milímetro de espesor, se considera una variable de diseño, no un elemento secundario.

La selección de la interfaz sigue al ensamblaje, no solo al refrigerante. Los huecos más grandes o irregulares generalmente se cubren con rellenos de huecos adaptables o almohadillas térmicas Se seleccionan por su capacidad para soportar la presión de montaje y su planitud, mientras que las tapas delgadas y planas pueden usar pastas o películas de cambio de fase. La conductividad y el grosor específicos dependen del material y del método de montaje, y no existe un único número de pieza que los determine. Los proveedores de componentes, como Trumonytechs, trabajan en esta capa, adaptando las placas de refrigeración y los materiales de interfaz al espacio, la tensión de ensamblaje y la carga térmica de cada paquete. La misma ingeniería de interfaz rige la refrigeración de los paquetes de baterías.

Refrigeración líquida directa al chip (placa fría)

La refrigeración directa al chip es el método predominante en los racks de IA de alta densidad: una placa fría metálica con canales internos se coloca directamente sobre cada procesador y transporta el refrigerante a pocos milímetros de la fuente de calor. Según las descripciones públicas de los sistemas de producción, la cantidad de calor del rack que se captura de esta manera oscila entre el 70 % y el 90 % de los TP4T, mientras que parte del aire se encarga del calor residual de las etapas de memoria y alimentación. El refrigerante suele ser agua con glicol añadido para evitar la congelación, la corrosión y el crecimiento biológico, y se distribuye a través de una unidad de distribución de refrigerante (CDU) para su disipación en el exterior.

Placa fría de conexión directa al chip montada en un acelerador de IA con conexiones de refrigerante para refrigeración de alta densidad en rack.

La unidad de distribución de refrigerante (CDU) es el elemento clave que hace viable este enfoque a gran escala. Aísla el circuito limpio y controlado que entra en contacto con los chips del agua de la instalación, y distribuye el flujo a cada rack mediante colectores. De esta forma, los operadores pueden mantener el circuito del lado de los chips a la temperatura que requieren los servidores, mientras que el lado de la instalación disipa el calor mediante enfriadores secos o refrigeradores. Dado que el circuito permanece sellado, el mismo refrigerante se recircula en lugar de consumirse, y el diseño incorpora detección de fugas y conexiones de desconexión rápida como equipamiento estándar.

Monofásico directo al chip

La inyección directa al chip en una sola fase mantiene el líquido refrigerante en todo momento, sacrificando un mayor caudal a cambio de un circuito más sencillo. El fluido entra en la placa fría, se calienta y sale sin hervir, lo que simplifica el sistema pero exige un bombeo constante. Los diseños de agua caliente de NVIDIA, por ejemplo, utilizan una mezcla de aproximadamente 75% de agua y 25% de propilenglicol, y admiten refrigerante a temperaturas de hasta 45 °C en un circuito cerrado. Esta temperatura permite que muchos centros disipen el calor con enfriadores secos en lugar de sistemas de refrigeración que consumen mucha energía.

Grabado directo en chip de dos fases

La refrigeración directa al chip en dos fases permite que el refrigerante hierva sobre la superficie caliente, aprovechando el calor latente de evaporación para transferir mucho más calor por unidad de flujo. IEEE Spectrum describe métodos bifásicos que ofrecen entre diez y cien veces la capacidad de refrigeración de un líquido monofásico, con un caudal mucho menor. La desventaja reside en un sistema sellado más complejo y en fluidos que deben seleccionarse y contenerse cuidadosamente.

Intercambiadores de calor en las puertas traseras y refrigeración híbrida aire-líquido

Los intercambiadores de calor de la puerta trasera enfrían el aire que sale del rack, no el chip en sí, lo que los convierte en la solución de refrigeración líquida más sencilla para una sala con refrigeración por aire. Una serpentina refrigerada por líquido reemplaza la puerta trasera del rack, los ventiladores de los servidores expulsan el aire caliente a través de ella y el agua fría disipa el calor antes de que vuelva a entrar en la sala. Las capacidades reportadas alcanzan aproximadamente los 75 kW por rack, suficiente para extender las instalaciones con refrigeración por aire a una densidad de IA moderada sin necesidad de instalar refrigeración líquida en cada chip. Las puertas pasivas dependen de los ventiladores de los servidores, mientras que las puertas activas incorporan sus propios ventiladores para mayor capacidad.

Los diseños híbridos combinan placas de refrigeración directa al chip con refrigeración por aire o por la puerta trasera en el mismo rack. Las placas frías absorben la carga concentrada de las GPU y las CPU, mientras que el aire se encarga de los componentes de menor consumo, lo que suele ser la opción más práctica cuando no es posible implementar la refrigeración líquida por completo de una sola vez.

Refrigeración por inmersión

La refrigeración por inmersión sumerge servidores completos en un fluido dieléctrico no conductor, eliminando la necesidad de ventiladores y tuberías individuales para cada chip. Dado que el fluido entra en contacto con todos los componentes, el calor se disipa uniformemente en todas las superficies de las placas, en lugar de hacerlo a través de una sola placa, lo que permite una alta densidad en un espacio reducido. La eliminación de los ventiladores también elimina un punto de fallo común y gran parte del ruido acústico, además de liberar el espacio que ocuparían dichos ventiladores y disipadores de calor. Las desventajas incluyen hardware diferente, nuevos procedimientos de mantenimiento y manejo del fluido. Para el mantenimiento de una placa, es necesario extraerla del tanque, e incluso se deben reemplazar algunos materiales de interfaz térmica estándar, ya que pueden degradarse con el tiempo en el fluido.

Servidores de IA sumergidos en fluido dieléctrico para refrigeración por inmersión en racks de alta densidad de potencia.

Inmersión monofásica

La inmersión monofásica mantiene el fluido dieléctrico en estado líquido y lo bombea a un intercambiador de calor externo. Este método es mecánicamente sencillo y elimina la necesidad de ventiladores, pero aun así requiere circulación y pruebas periódicas del fluido para garantizar su fiabilidad.

Inmersión en dos fases

La inmersión bifásica permite que el fluido hierva sobre los componentes y se condense en una serpentina refrigerada situada sobre el tanque, aprovechando así el calor latente para lograr un flujo de calor muy elevado. Los fluidos dieléctricos diseñados están formulados para hervir a bajas temperaturas, aproximadamente entre 34 y 56 °C, de modo que los componentes se mantienen cerca de una temperatura controlada. El coste del fluido y su contención son las principales limitaciones.

Adaptación del método de refrigeración a la densidad del rack

La elección del método depende principalmente de la densidad de potencia del rack. La refrigeración por aire y por la puerta trasera sigue siendo adecuada para racks de menor densidad. La refrigeración directa al chip se convierte en la opción predeterminada una vez que el rack supera la densidad en la que la refrigeración por aire sola limita el rendimiento, generalmente en decenas de kilovatios. La inmersión se reserva para las densidades más altas y con mayor limitación de espacio. La clave para cualquier implementación reside en determinar dónde se concentra realmente el calor y si el diseño de la interfaz y la placa fría pueden disiparlo a la temperatura de unión deseada.

Tabla que relaciona el método de refrigeración del servidor de IA con la densidad de potencia del rack, desde refrigeración por aire hasta refrigeración por puerta trasera, refrigeración directa al chip e inmersión.

La densidad no es la única variable. El hecho de que una instalación esté modernizando una sala refrigerada por aire o construyendo una nueva cambia la respuesta. Los diseños híbridos y de puerta trasera reutilizan los racks y el flujo de aire existentes, mientras que los diseños de refrigeración directa al chip y de inmersión requieren tuberías, unidades de distribución de calor (CDU) y personal capacitado en refrigeración líquida. La temperatura del agua disponible en la instalación también es importante: un diseño que admita refrigerante más caliente puede usar enfriadores secos en lugar de enfriadores de agua, que es donde reside gran parte de la eficiencia de la refrigeración líquida. El denominador común es que ningún método escapa a la ruta del calor. El material de la interfaz y el diseño de la placa fría debajo de cada chip deben verificarse con respecto a la carga térmica real antes de elegir el circuito circundante.

MétodoCómo aprovecha la trayectoria del calorAjuste típicoPrincipal compensación
Aire / CRACSopla aire frío sobre los disipadores de calor.Estanterías de menor densidadSe queda sin margen de potencia en las decenas de kW.
Intercambiador de calor de la puerta traseraEnfría el aire de escape de la parrilla con una serpentina líquida.Modernizaciones con refrigeración por aire de densidad moderadaTodavía depende de los ventiladores del servidor en el chip
Placa fría de contacto directo con el chipLíquido a pocos milímetros del chip a través de una placa fríaRacks de IA de alta densidad (100 kW o más)Necesita placas frías, unidades de control de temperatura (CDU) y pasta térmica (TIM) en cada chip.
InmersiónServidor completo sumergido en fluido dieléctricoMáxima densidad, limitada por el espacio.Diferentes componentes, manejo de fluidos, mantenimiento

Conclusión

En resumen, los servidores de IA se enfrían transfiriendo el calor a un líquido lo más cerca posible del chip, según lo requiera la densidad: placas frías para la mayoría de los racks de IA, intercambiadores de calor en la parte posterior para optimizar el espacio en salas con refrigeración por aire, e inmersión en casos extremos. Lo fundamental es adaptar el método a la densidad de potencia del rack y a la trayectoria del calor. El aspecto más a menudo ignorado es que la refrigeración líquida no se limita a un simple cambio de refrigerante. La interfaz entre el chip y la placa fría, su planitud y el material del que está hecha determinan si un circuito de refrigeración puede mantener el procesador dentro del rango adecuado. Si se sigue la potencia del chip hacia afuera, el método de refrigeración apropiado suele ser evidente.

PREGUNTAS FRECUENTES

¿Por qué los ventiladores ya no pueden refrigerar una GPU de IA moderna?

Los ventiladores se quedan sin margen de maniobra porque un solo acelerador de IA puede disipar más de 1000 W y un rack puede superar los 100 kW. Esto supera con creces la capacidad de disipación del aire en movimiento con un nivel de potencia y ruido de ventiladores práctico. El líquido transporta mucho más calor por unidad de volumen, por lo que mantiene la temperatura de la unión con un aumento de temperatura mucho menor.

¿Qué hay entre la GPU y la placa fría?

Una fina capa de interfaz térmica se sitúa entre el chip y la placa fría, rellenando el espacio microscópico e irregular para que el calor se conduzca en lugar de acumularse en el aire atrapado. El material, ya sea una almohadilla, gel, pasta o película de cambio de fase, se elige en función del tamaño del espacio, la planitud y la presión de montaje del encapsulado.

¿En qué se diferencia la refrigeración directa al chip de la refrigeración por inmersión?

La refrigeración directa al chip enfría únicamente los componentes más calientes mediante una placa fría, mientras que el aire u otro circuito se encarga del resto. En cambio, la inmersión sumerge todo el servidor en un fluido dieléctrico. La refrigeración directa al chip se adapta más fácilmente a los racks existentes, y la inmersión permite alcanzar una mayor densidad, pero requiere hardware y sistemas de gestión de fluidos diferentes.

¿Ahorra agua la refrigeración líquida?

La refrigeración líquida permite ahorrar agua cuando funciona en un circuito cerrado con disipación a través de enfriadores secos, ya que el mismo refrigerante recircula en lugar de evaporarse. El ahorro real de agua en una instalación depende de su diseño de disipación de calor y del clima, no solo de la placa de refrigeración.

¿Qué densidad de racks requiere refrigeración líquida?

La refrigeración líquida suele ser necesaria cuando la densidad de los racks alcanza las decenas de kilovatios, momento en el que el aire ya no puede evitar la limitación del rendimiento. El punto de inflexión exacto depende de los servidores, el flujo de aire y las condiciones del aire de entrada, por lo que debe verificarse para cada instalación y nunca darse por sentado.

Lecturas adicionales

  • Compuestos para macetas — Explica cómo los encapsulantes protegen y disipan el calor de los conjuntos electrónicos, lo cual resulta útil cuando un diseño de refrigeración también debe sellar y brindar soporte mecánico a los componentes.
  • ¿Para qué se utiliza el gel térmico? — Explica dónde encaja el gel térmico entre los materiales de interfaz para rellenar huecos irregulares, la misma capa de interfaz que este artículo señala como decisiva.
  • ¿Qué es la pasta térmica para computadoras? — Explica cómo funciona la pasta térmica en las interfaces de la CPU y la GPU, el espacio microscópico que se encuentra entre el chip y su placa fría.
  • ¿Cuándo utilizar gel térmico? — Ayuda a decidir cuándo un gel supera a una almohadilla o pasta para una separación y condición de montaje determinadas, ampliando así la lógica de selección de interfaz.
  • ¿Cuál es la mejor pasta térmica? — Aclara cómo evaluar la "mejor" pasta según el resultado deseado y las limitaciones, lo cual resulta útil una vez que se sabe que una interfaz deficiente limita el rendimiento de cualquier circuito de líquido.

¿Necesita una solución de gestión térmica personalizada?

Nuestros ingenieros brindan consulta gratuita y diseño personalizado para sus necesidades específicas.