오늘날 AI 서버는 대부분 액체 냉각 방식으로 냉각됩니다. 프로세서에 밀착되는 냉각판, 랙 후면의 열교환기, 또는 비전도성 유체에 완전히 담그는 방식 등이 이러한 냉각 방식의 대세가 되었습니다. 이는 공기만으로는 고밀도 AI 랙의 열을 효과적으로 제거할 수 없기 때문입니다. 열은 냉각 방식에 관계없이 일정한 경로를 따라 이동합니다. 실리콘 다이에서 발생한 열은 얇은 열전도성 막을 통과하여 금속 냉각판이나 냉각액에 닿은 후 건물 밖으로 배출됩니다. 이러한 열의 경로와 각 냉각 방식이 어떤 단계에서 작용하는지를 이해하는 것이 바로 업계가 팬 방식에서 액체 냉각 방식으로 전환하게 된 이유입니다.
AI 랙 밀도가 높아질수록 공랭식 냉각이 한계에 도달하는 이유는 무엇일까요?
AI 랙 밀도가 높아지면 공랭식 냉각은 한계에 부딪힙니다. 랙당 발생하는 열이 공기 순환만으로는 실질적으로 제거할 수 있는 양을 초과하기 때문입니다. 일반적인 기업용 랙은 8~10kW 정도의 전력을 소모하지만, AI 학습용 랙은 이제 100kW 이상에 달합니다. 또한, 가속기 하나당 전력 소모량은 수백 와트에서 1,000W를 훨씬 넘는 수준으로 급증했습니다. IEEE Spectrum의 보고서에 따르면 NVIDIA의 Blackwell GPU는 개당 최대 약 1,200W의 전력을 소모합니다. 이처럼 높은 밀도의 칩에 충분한 냉각 공기를 공급하려면 팬 전력 소모가 너무 커지고 소음이 심해져 칩이 적정 온도에 도달하기까지 오랜 시간이 걸립니다.
공기 흐름은 가장 먼저 한계에 도달하는 요소입니다. 공기는 열용량이 낮기 때문에 더 많은 열을 제거하려면 더 많은 공기를 이동시켜야 하는데, 필요한 공기량은 밀집된 랙 내부의 공간과 팬 출력보다 빠르게 증가합니다. 특정 지점을 넘어서면 팬이 소비하는 전력량이 점점 늘어나고, 공기 흐름이 고르지 않은 곳에 과열 지점이 발생하며, 프로세서는 스스로를 보호하기 위해 성능 저하(스로틀링)를 시작합니다. 이것이 바로 AI 하드웨어가 직면한 한계이며, AI 서버를 공기로 냉각하는 방법에서 어떤 액체 냉각 방식을 사용할 것인지로 질문이 바뀐 이유입니다.
물리적으로 액체가 공기보다 훨씬 유리합니다. IEEE Spectrum에 따르면 물은 단위 부피당 공기보다 약 3,000배 많은 열을 흡수하고 열전도율은 약 20배 더 높습니다. 바로 이 때문에 액체 냉각 시스템은 공기보다 훨씬 작은 온도 차이로 칩 접합부 온도를 유지할 수 있습니다. 냉각 비용 또한 무시할 수 없습니다. 일부 운영업체의 추산에 따르면 데이터 센터 전력 소비량의 최대 약 40%를 냉각 비용이 차지할 수 있습니다. 이러한 효율성은 운영 비용에 직접적인 영향을 미치며, 동일한 전력 용량 내에서 설치할 수 있는 컴퓨팅 성능에도 영향을 줍니다.
열 전달 경로: GPU 다이에서 열전도성 물질을 거쳐 냉각판까지
모든 냉각 방식은 동일한 병목 현상에서 시작합니다. 바로 칩에서 발생하는 열을 칩 다이 또는 덮개와 냉각 장치 사이의 미세한 틈을 통해 전달하는 것입니다. 이 틈은 완벽하게 평평하지 않기 때문에 얇은 막이 필요합니다. 열 인터페이스 재료 그 공간을 채우고 단열 공기를 전도성 경로로 대체하여 냉각판이나 방열판으로 열을 전달합니다. 이 인터페이스가 불량하면 아무리 차가운 하류 회로라도 열을 충분히 빠르게 제거할 수 없어 프로세서가 스로틀링됩니다.
인터페이스는 열 전달 경로를 따라 열 저항이 직렬로 누적되기 때문에 중요합니다. 열은 냉각수에 도달하기 전에 다이와 뚜껑 접합부, 인터페이스 층, 그리고 콜드 플레이트 벽을 통과해야 하며, 이 중 가장 약한 부분이 성능의 한계를 결정합니다. 크고 낮은 온도의 콜드 플레이트도 칩 바로 아래 인터페이스의 불량을 보완할 수 없습니다. 바로 이러한 이유로 인터페이스 층은 두께가 수 밀리미터에 불과하지만, 설계 변수로 간주되어야 하며, 나중에 고려해서는 안 됩니다.
인터페이스 선택은 냉각수뿐만 아니라 조립 과정 전체를 고려하여 이루어집니다. 크거나 고르지 않은 틈새는 일반적으로 적합한 틈새 충전재로 메웁니다. 열 간극 패드 장착 압력과 평탄도를 고려하여 선택되는 반면, 얇고 평평한 덮개에는 페이스트나 상변화 필름이 사용될 수 있습니다. 특정 전도율과 두께는 재료와 장착 방법에 따라 달라지며, 단일 부품 번호로 결정되지 않습니다. Trumonytechs와 같은 부품 공급업체는 이러한 분야에서 활동하며, 주어진 패키지의 간격, 조립 응력 및 열 부하에 맞춰 냉각판과 인터페이스 재료를 설계합니다. 배터리 팩 냉각에도 동일한 인터페이스 엔지니어링이 적용됩니다.
칩 직접 냉각(콜드 플레이트) 액체 냉각
고밀도 AI 랙에서는 칩 직접 냉각 방식이 주를 이룹니다. 내부 채널이 있는 금속 냉각판이 각 프로세서 위에 직접 놓여 열원에서 불과 몇 밀리미터 떨어진 곳에 냉각수를 공급합니다. 공개된 생산 시스템 설명에 따르면 이러한 방식으로 랙에서 발생하는 열을 냉각하는 비율은 대략 70~90%에 달하며, 메모리와 전력단에서 발생하는 잔열은 여전히 공기를 통해 처리됩니다. 냉각수는 일반적으로 동결, 부식 및 미생물 증식을 방지하기 위해 글리콜이 첨가된 물이며, 냉각수 분배 장치(CDU)를 통해 외부로 배출됩니다.
CDU(클러스터 듀티 유닛)는 이러한 접근 방식을 대규모로 실용화하는 데 필수적인 경계 역할을 합니다. CDU는 칩에 접촉하는 깨끗하고 제어된 냉각 루프를 외부 시설의 물과 분리하고, 매니폴드를 통해 각 랙으로 냉각수를 분배합니다. 운영자는 칩 측 루프를 서버가 원하는 온도로 유지하는 동시에 시설 측에서는 건식 냉각기 또는 칠러를 통해 열을 방출할 수 있습니다. 루프가 밀폐된 상태를 유지하기 때문에 냉각수가 소모되지 않고 재순환되며, 설계에는 누출 감지 및 퀵 커넥트 피팅이 기본 장비로 포함되어 있습니다.
단상 직접 칩
단상 직접 칩 냉각 방식은 냉각수를 처음부터 끝까지 액체 상태로 유지하여 유량을 늘리는 대신 순환 회로를 단순화합니다. 냉각수는 냉각판으로 들어가 가열된 후 끓지 않고 배출되므로 시스템이 단순하지만 지속적인 펌핑이 필요합니다. 예를 들어 NVIDIA의 온수 냉각 방식은 약 75%의 물과 25%의 프로필렌 글리콜을 혼합하여 사용하며, 폐쇄 루프에서 최대 45°C의 고온 냉각수를 사용할 수 있습니다. 이러한 고온 덕분에 많은 사업장에서 에너지 소모가 많은 칠러 대신 건식 쿨러를 사용하여 열을 방출할 수 있습니다.
2상 직접 칩
2상 직접 칩 냉각 방식은 냉각수가 뜨거운 표면에서 끓으면서 증발 잠열을 이용하여 단위 유량당 훨씬 더 많은 열을 전달합니다. IEEE Spectrum에 따르면, 2상 냉각 방식은 단상 액체 냉각 방식보다 유량은 훨씬 적으면서도 10배에서 100배에 달하는 냉각 용량을 제공합니다. 다만, 밀폐 시스템이 더 복잡해지고 냉각 유체를 신중하게 선택하고 관리해야 한다는 단점이 있습니다.
뒷문 열교환기 및 하이브리드 공기-액체 냉각
후면 도어 열교환기는 칩 자체가 아닌 랙에서 나오는 공기를 냉각하므로 기존 공랭식 공간에 액체 냉각 단계를 추가하는 가장 쉬운 방법입니다. 액체 냉각 코일이 랙의 후면 도어를 대체하고, 서버 자체 팬이 뜨거운 배기가스를 이 코일을 통해 배출하며, 냉각수가 열을 제거한 후 다시 공간으로 유입됩니다. 보고된 용량은 랙당 약 75kW에 달하여 모든 칩에 액체 배관을 연결하지 않고도 공랭식 시설을 중간 수준의 AI 밀도까지 확장할 수 있습니다. 수동 도어는 서버 팬에 의존하는 반면, 능동 도어는 자체 팬을 추가하여 더 높은 냉각 효율을 제공합니다.
하이브리드 설계는 동일한 랙에서 칩 직접 냉각 플레이트와 공랭식 또는 후면 도어 냉각 방식을 결합합니다. 냉각 플레이트는 GPU와 CPU에서 발생하는 집중적인 부하를 처리하고, 공랭식은 저전력 부품을 냉각합니다. 이는 전체 시스템에 수랭식 냉각을 한 번에 적용할 수 없는 상황에서 실용적인 대안이 될 수 있습니다.
침수 냉각
침수 냉각 방식은 서버 전체를 비전도성 유전체 유체에 담그는 방식으로, 팬이나 칩별 배관이 필요 없습니다. 유체가 모든 부품에 접촉하기 때문에 열이 단일 플레이트가 아닌 모든 표면에서 균일하게 방출되어 컴팩트한 크기에 고밀도 칩을 구현할 수 있습니다. 팬이 없어지면 일반적인 고장 원인이 제거되고 소음도 크게 줄어들며, 팬과 방열판이 차지하던 공간도 확보됩니다. 하지만 이러한 방식의 단점으로는 새로운 하드웨어, 새로운 유지보수 절차, 그리고 유체 관리의 어려움이 있습니다. 보드를 정비하려면 탱크에서 꺼내야 하며, 일부 표준 열전도성 물질(TIM)은 유체 속에서 시간이 지남에 따라 열화될 수 있으므로 교체해야 합니다.
단상 침수
단상 침지 방식은 절연 유체를 액체 상태로 유지하고 외부 열교환기로 펌핑합니다. 이 방식은 기계적으로 간단하고 팬이 필요 없지만, 신뢰성을 유지하기 위해서는 유체 순환과 주기적인 유체 테스트가 여전히 필요합니다.
2상 침수
2상 침지 방식은 구성 요소에서 유체가 증발하고 탱크 위의 냉각 코일에 응축되도록 하여 잠열을 활용해 매우 높은 열유속을 발생시킵니다. 특수 설계된 절연 유체는 약 34~56°C 범위의 낮은 온도에서 끓도록 제조되어 구성 요소가 제어된 온도에 가깝게 유지됩니다. 유체 비용과 밀폐가 주요 제약 조건입니다.
랙 밀도에 맞는 냉각 방식 선택하기
냉각 방식 선택은 다른 어떤 요소보다 랙의 전력 밀도에 따라 결정됩니다. 저밀도 랙에서는 여전히 공랭식 및 후면 도어 냉각 방식이 사용됩니다. 랙의 전력 밀도가 수십 킬로와트 수준으로 높아지면 직접 칩 냉각 방식이 기본으로 사용됩니다. 침지식 냉각은 공간 제약이 심한 고밀도 환경에 적합합니다. 모든 배포에서 가장 중요한 질문은 열이 실제로 어디에 집중되는지, 그리고 인터페이스와 냉각판 설계가 목표 접합 온도에서 열을 효과적으로 전달할 수 있는지 여부입니다.
밀도만이 유일한 변수는 아닙니다. 기존 공랭식 냉각실을 개조하는지 아니면 새로 건설하는지에 따라 해답이 달라집니다. 후면 도어 방식과 하이브리드 방식은 기존 랙과 공기 흐름을 재사용하는 반면, 완전 직접 칩 방식과 액체 냉각 방식은 배관, CDU(콜드 디바이스 유닛), 그리고 액체 냉각 교육을 받은 인력이 필요합니다. 시설 내 사용 가능한 물의 온도 또한 중요합니다. 더 따뜻한 냉각수를 사용할 수 있는 설계는 칠러 대신 드라이 쿨러를 사용할 수 있는데, 이는 액체 냉각 효율의 핵심 요소입니다. 어떤 방식이든 열 전달 경로를 완전히 피할 수는 없습니다. 따라서 각 칩 아래의 인터페이스 재질과 콜드 플레이트 설계는 주변 냉각 루프를 선택하기 전에 실제 열 부하를 고려하여 검증해야 합니다.
| 방법 | 열 전달 경로를 활용하는 방법 | 일반적인 사이즈 | 주요 절충점 |
|---|---|---|---|
| 에어 / CRAC | 방열판에 찬 공기를 불어넣습니다. | 저밀도 랙 | 수십 kW에서 여유 용량이 부족해집니다. |
| 뒷문 열교환기 | 액체 코일을 사용하여 랙 배기 공기를 냉각합니다. | 중밀도, 공랭식 개조 | 여전히 칩의 서버 팬에 따라 달라집니다. |
| 칩에 직접 닿는 콜드 플레이트 | 냉각판을 통해 다이에서 몇 mm 떨어진 곳에 액체가 있습니다. | 가장 고밀도의 AI 랙(100kW 이상) | 각 칩마다 콜드 플레이트, CDU 및 TIM이 필요합니다. |
| 담금 | 서버 전체가 절연 유체에 잠겨 있습니다. | 공간 제약 내에서 최고 밀도 | 하드웨어, 유체 처리, 유지 보수 등 여러 가지 요소가 다릅니다. |
결론
간단히 말해 AI 서버는 칩의 밀도에 따라 필요한 만큼 최대한 가까운 액체로 열을 전달하는 방식으로 냉각됩니다. 대부분의 AI 랙에는 콜드 플레이트가 사용되고, 공랭식 공간을 확장하기 위해 후면 도어 열교환기가 사용되며, 극단적인 경우에는 액체에 담그는 방식이 사용됩니다. 중요한 것은 랙의 전력 밀도와 열 전달 경로에 맞는 냉각 방식을 선택하는 것입니다. 가장 간과되는 점은 액체 냉각이 단순히 냉각제를 교체하는 것이 아니라는 사실입니다. 다이와 콜드 플레이트 사이의 접촉면, 평탄도, 그리고 재질에 따라 어떤 냉각 방식이 프로세서의 온도를 적정 수준으로 유지할 수 있는지 결정됩니다. 다이에서 외부로 전달되는 전력을 추적하면 적절한 냉각 방식이 대개 드러납니다.
자주 묻는 질문
왜 팬으로는 최신 AI GPU를 제대로 냉각할 수 없는 걸까요?
단일 AI 가속기가 1,000W 이상의 열을 방출하고 랙 전체가 100kW를 초과할 수 있기 때문에 팬은 더 이상 감당할 수 없는 수준에 도달합니다. 이는 실제 팬의 출력과 소음 수준에서 공기 흐름으로 제거할 수 있는 열량을 훨씬 초과합니다. 액체는 단위 부피당 훨씬 더 많은 열을 전달하므로 훨씬 적은 온도 상승으로 접합부 온도를 유지할 수 있습니다.
GPU와 냉각판 사이에는 무엇이 있나요?
칩과 냉각판 사이에는 얇은 열전도층이 존재하여 미세하고 고르지 않은 틈을 메워 열이 공기 중에 갇혀 정체되는 대신 전도되도록 합니다. 패드, 젤, 페이스트 또는 상변화 필름과 같은 이 재료는 틈의 크기, 평탄도 및 패키지의 장착 압력을 고려하여 선택됩니다.
칩 직접 냉각 방식은 침지 냉각 방식과 어떻게 다른가요?
다이렉트 투 칩 방식은 냉각판을 통해 가장 뜨거운 부품만 냉각하고 나머지는 공기 또는 다른 냉각 루프를 통해 냉각하는 반면, 침지 방식은 서버 전체를 절연 유체에 담급니다. 다이렉트 투 칩 방식은 기존 랙에 더 쉽게 설치할 수 있으며, 침지 방식은 더 높은 집적도를 구현할 수 있지만 다른 하드웨어와 유체 처리 방식이 필요합니다.
액체 냉각은 물을 절약할 수 있나요?
액체 냉각은 건식 냉각기를 통해 배출되는 폐쇄 루프 방식으로 작동할 경우, 냉각수가 증발하는 대신 재순환되므로 물을 절약할 수 있습니다. 하지만 실제로 물을 절약할 수 있는지 여부는 냉각판 자체의 성능보다는 열 방출 설계와 기후에 따라 달라집니다.
액체 냉각이 필요한 랙 밀도는 얼마입니까?
랙 밀도가 수십 킬로와트에 도달하면 일반적으로 공기 냉각으로는 성능 저하를 방지할 수 없으므로 액체 냉각이 필요해집니다. 정확한 전환점은 서버, 공기 흐름 및 흡입 공기 조건에 따라 달라지므로 구축 시마다 확인해야 하며, 절대 가정해서는 안 됩니다.
추가 자료
- 차세대 AI에는 액체 냉각이 필요합니다 (IEEE Spectrum) — IEEE Spectrum은 전문 엔지니어링 단체인 IEEE의 대표적인 간행물입니다. 위에서 사용된 물과 공기의 열용량 비교 및 단상과 이상 용량 차이 비교를 뒷받침합니다.
- 액체 냉각 옵션: RDHx, 다이렉트 투 칩, 침수형 (데이터 센터 지식) — 데이터센터 업계에서 인정받는 전문 간행물입니다. 후면 도어 방식, 직접 칩 방식, 침수 방식 등의 비교 및 장단점 분석을 지원합니다.
관련 기사
- 포팅 컴파운드 — 캡슐화 재료가 전자 어셈블리를 보호하고 열을 방출하는 방식을 다룹니다. 이는 냉각 설계에서 구성 요소를 밀봉하고 기계적으로 지지해야 할 때 유용합니다.
- 써멀 젤은 무엇에 사용되나요? — 이 글에서는 불규칙한 틈을 메우는 데 사용되는 계면 재료 중 열 젤이 어떤 역할을 하는지, 그리고 이 계면층이 결정적인 역할을 한다는 점을 설명합니다.
- 컴퓨터용 써멀 페이스트란 무엇인가 — CPU와 GPU 인터페이스, 즉 다이와 콜드 플레이트 사이에 있는 미세한 틈에서 써멀 페이스트가 어떻게 작용하는지 분석합니다.
- 언제 써멀 젤을 사용해야 하나요? — 주어진 간격과 장착 조건에서 젤이 패드나 페이스트보다 나은 경우를 판단하는 데 도움을 주어 인터페이스 선택 로직을 확장합니다.
- 어떤 써멀 페이스트가 가장 좋을까요? — 목표 결과 및 제약 조건에 따라 "최적의" 페이스트를 판단하는 방법을 명확히 설명하며, 인터페이스가 좋지 않으면 액체 순환 과정이 제대로 진행되지 않는다는 것을 알게 되면 유용합니다.
