데이터브릭스는 MS Azure, GCP, AMW에서 데이터 레이크하우스 플랫폼을 제공하는 회사

단순함, 유연함을 내세운 데이터브릭스 기술을 선호함

어도비, 스타벅스, SPA, H&M 등이 고객. 5천개 이상 기업이 고객(21년 40조원 가치 인정)

‘13년 설립하였고, 아파치 스파크 개발자인 알리 고드시, 메테이 자하리아, 레이놀드 신 등이 창립

아파치 스파크는 빠르기로 유명한 빅데이터 분석 프레임워크

UC버클리 AMP랩에서 업계에서 주로 사용했던 하둡 맵리듀스의 단점을 보완

아파치 스파크는 인메모리를 기반으로 디스크 입출력으로 시간이 지연되었던 맵리듀스와는 달리 시간을 획기적으로 줄임. 특정 상황에서 맵리듀스보다 100배 정도 빠름

빅데이터 분석, 머신 러닝에 가장 필요한 프레임워크로 불리는 아파치 스파크는 페이스북, 마이크로소프트, 은행, 주요 정부 등 다양한 곳에 사용

‘아파치 스파크’를 기본 엔진으로 둔 데이터 레이크하우스 플랫폼을 제공

AWS, Azure, GCP 를 통해 머신관리기구 ML플로우, 오픈소스로 델타 레이크 등 서비스를 제공

‘20년 ARR 4천5백억원, 전년대비 75% 성장

KT Data Lake는 원천 데이터 수집부터 데이터 가공 및 분석, 시각화 대시보드 구성까지 빅데이터 활용에 필요한 전체 기능을 제공