"클라우드 컴퓨팅"이라는 용어의 개념은 분명하지 않다. "클라우드"라는 낱말은 일반적으로 과학에서 구름처럼 먼 거리에서 시각적으로 보이는 물건들의 커다란 집합체를 기술하기 위해 사용되며 주어진 문맥에서 세세한 부분이 더 이상 관찰되지 않는 물건들의 집합을 기술한다. 또 다른 설명으로는, 네트워크 도식들을 그려낸 오래된 프로그램들이 서버 아이콘을 원으로 둘러쌌으며 네트워크 도식 안의 서버 클러스터가 여러 겹치는 원들을 가지면서 클라우드(구름)와 닮게 되었다는 것이다. 위의 용례와 비슷하게 클라우드라는 낱말은 인터넷의 비유로서 사용되었으며 구름과 같은 표준화된 모양은 전화 도식망을 나타내기 위해 사용되었다. 나중에 컴퓨터 네트워크 다이어그램에 인터넷을 기술하기 위해 사용되었다. 클라우드 심볼은 이미 1977년의 오리지널 ARPANET 및 1981년의 CSNET의 컴퓨팅 장비망을 표현하기 위해 사용되었으며 둘 다 인터넷의 선구자이다.

클라우드(cloud)라는 용어는 분산 컴퓨팅을 위한 플랫폼을 가리키는데 사용되고 있다.

현대적 의미의 "클라우드 컴퓨팅"에 대한 참조는 컴팩 내부 문서의 초기 언급과 함께 1996년에 등장하였다. 용어가 대중화된 것은 아마존닷컴이 일래스틱 컴퓨트 클라우드를 선보였던 2006년으로 거슬러 올라간다.