Databricks는 ApacheSpark 제작자가 설립

자동화된 클러스터 관리 및 IPython 스타일 노트북을 제공하는Spark 작업을 위한 웹 기반 플랫폼을 개발

기계학습 및 기타 데이 과학 사용 사례를 위해 데이터레이크에 안정성을 제공하기 위한 오픈 소스 프로젝트인 Delta Lake를 개발

‘17년 11월 Azure Databricks를 통합하여 Azure의 자사 서비스 발표

Scala 위에 구축된 오픈소스 분산 컴퓨팅 프레임워크 인 Apache Spark 제작 참여

데이터사이언티스트와 분석가가 데이터의 대화형 대시보드를 시각화하고 구축하 수 있도록 설계된 Redash를 인수

‘21년 2월 GCP와 함께 Google Kubernetes Engine 및 BigQuery 플랫폼과의 통합을 제공

데이터브릭스는 “데이터웨어하우스”와“데이터레이크”라는 용어를 기반으로 한 합성어 “레이크하우스”라는 마케팅 용어를 사용하여 클라우드 데이터 플랫폼을개발 및 판매

데이터웨어하우스란 사용자의 의사 결정에 도움을 주기 위하여 기간시스템의 데이터베이스에 축적된 데이터를 공통의형식으로 변환해서 관리하는 데이터베이스. 줄여서 DW(방대한조직 내에서 분산 운영되는 각각의 데이터베이스 관리스스템들을 효율적으로 통합하여 조정.관리. 효율적인 의사 결정 시스템을 위한 기초를 제공하는 실무적인 활용 방법론 제공

관리하드웨어, 관리소프트웨어, 추출.변환.정력 도구, 데이터베이스마케팅 시스템, 메타데이터, 최종 사용자 접근 및 활용 도구등으로 구성

모든 규모의 정형 및 비정형 데이터를 저장하는 중앙집중형 저장소. 정형데이터만 다루는 DW와 달리, 데이터레이크는 사전 정의된스키마 없이 일단 저장하고 데이터 처리할 때 스키마 사용