서버는 기본적으로 높은 부하로 돌아가는 고성능 컴퓨터이기 때문에 뜨겁다. 그리고 데이터센터는 그런 서버가 산더미처럼 쌓여 있는 곳이다. 때문에 서버 컴퓨터의 열을 식혀주고, 더 나아가 적절한 온도와 습도를 유지하는 것이 데이터센터에서는 매우 중요하다.

데이터 센터 입주 시 많은 공간을 점유하는 서버에게는 높은 비용을 지불하도록 한다. 서버들이 소비하는 전력량은 입주 면적과 비교하여 큰 차이가 없다. 그래서 소비 전력으로 비용을 책정하지는 않는다. 대신 상면 공간 단위로 가격을 책정하게 된다. 공간 단위는 U단위이며(랙형 서버 기준) 가장 작은 단위는 1U이다(블레이드 서버는 예외). 1U서버가 2U서버보다 성능도 나쁘고 가격도 비싼데도 팔리는 이유다. [9] 따라서 데이터 센터에 입주를 희망하는 업체는 가능한 적은 상면 공간에서 최대의 효율을 내려고 한다. 때문에 데이터 센터에 입주하는 서버들은 전력 소비량이 엄청나며 대개 1000W내외의 전력을 소비한다. 이는 고스란히 발열로 이어진다.

이 발열을 냉각하는 공조 설비 설계가 데이터 센터의 핵심 역량이 된다. 데이터 센터가 소비하는 전체 전력에서 IT장비(서버, 스토리지, 네트워크 장비 등)를 제외한 항온항습, UPS 등 비IT 장비에 들어가는 전력이 얼만지를 알아보는 지표를 PUE라고 한다. 다시 말해 데이터 센터에서 사용한 모든 전력 / IT장비가 사용한 전력량이다. 낮을수록 좋고 이론상 최저 값은 1.0이다.

옛날식 데이터 센터는 PUE 2.0~3.0 사이다. 방 전체를 냉각하는 폐쇄회로 냉각 방식을 사용했다. 또 평균 18도에서 20도 사이를 유지했다. 구식 설계에 실내온도를 낮게 운영하도록 책정한 데이터 센터라면 한여름에 파카 입고 손 호호 불어가며(...) 작업하는 진귀한 그러나 작업자 입장에서는 빡치는 경험을 해야 할 것이다. 다만 2016년 이후 이런 데이터 센터는 보기 어렵다. 지나치게 낮은 온도 역시 서버들에게 스트레스를 유발하며, 특히 전동기를 이용해 구동하는 부품들의 베어링이 냉각되면 문제가 발생할 수 있기 때문이다. SSD가 아닌 HDD를 이용하는 서버들은 HDD의 플래터가 열수축에 의해 데이터 위치 오류가 발생하여 HDD가 정지, 서버 다운으로 이어질 수 있다.

2021년 시점에는 외부 공기를 이용한 냉각 방식이 대세다. 냉복도와 열복도를 분리하고 열복도에 쏟아지는 뜨거운 공기를 모아서 데이터 센터 바깥으로 배출하는 방법으로 전력소비를 낮춘다. 서버실을 섭씨 30도 정도로 유지해 냉각 비용을 낮추기도 한다. 최신 설계의 데이터 센터는 25~30도를 유지하므로 장비 실어다 올리고 부품 좀 교체하다 보면 등줄기에 땀 몇방울 흐르는 정도다. 사실 작업자에게는 온도보다는 귀가 멍멍해질 정도의 팬 소음(서버들의 냉각팬 및 공조기 소음)과 전자파 샤워의 압박이 더 크다.

데이터 센터만의 자체적인 냉각 방식을 강조하기도 한다. 네이버 '데이터 센터 각'은 NAMU (NAVER Air Membrane Unit) 기술을 사용하는데, 찬물이 흐르는 벽에 바람을 통과시켜 기화 작용으로 온도를 낮추는 방식이다. 애초에 데이터 센터 자체를 불어오는 자연풍을 가장 효율적으로 쓸 수 있도록 V자 형으로 설계했다고 한다.

입지 자체를 추운 곳에 선정해서 이득을 보기도 한다. 페이스북 데이터 센터는 1.07이라는 경이적인 PUE 값을 달성했다고 주장한 바 있다. 참고로 네이버 데이터 센터 각은 1.09 PUE 라는 수치를 보유하고 있다. 아주 추운 지역에서 바깥공기 도입 냉각방식 데이터 센터를 사용해 에어컨, 선풍기를 안 틀고 운영한 덕분이다. 저 0.07은 전등이나 사무실 집기 등이 소비한 전력량이다. 다만 측정방식 및 로우데이터를 공개하지 않아 신뢰하기는 조금 미심쩍은 구석도 있다. 북극권 1.07보다 한반도 1.09가 더 경이로운 것은 넘어가자

카카오에서는 다음 시절 본사를 제주도로 이전하면서 데이터 센터 또한 제주도로 이전하는 방안을 검토했으나, 온난습윤한 제주도의 기후로 인해 예상 전력 소비량을 계산해보니 제주도 전체의 전력 소비량과 맞먹는다는 결과가 나와서 이전을 포기했다는 설이 있다. # 게다가 "섬"이라는 제주도의 특성상 만약 육지와 제주를 잇는 해저 광케이블이 끊어지기라도 하면 육지 지역의 서비스가 그대로 중단된다는 것도 한몫했을 것이다.

서버에서 흡수한 열을 그대로 배출하지 않고 지역난방에 사용하는 경우도 있다. 서버에서 사용한 전력은 대부분 CPU나 그래픽카드의 발열로 전환됨으로 이를 다시 회수할 수가 있다면 에너지 절약이 가능하다.