Amazon Kinesis를 사용하면 실시간 스트리밍 데이터를 손쉽게 수집, 처리 및 분석할 수 있으므로 적시에 통찰력을 확보하고 새로운 정보에 신속하게 대응할 수 있습니다. Amazon Kinesis는 모든 규모의 스트리밍 데이터를 비용 효율적으로 처리할 수 있는 핵심 기능과 더불어 애플리케이션 요구 사항에 가장 적합한 도구를 선택할 수 있는 유연성을 제공합니다. Amazon Kinesis에서는 기계 학습, 분석 및 기타 애플리케이션을 위해 비디오, 오디오, 애플리케이션 로그, 웹 사이트 클릭스트림 및 IoT 텔레메트리 데이터와 같은 실시간 데이터를 수집할 수 있습니다. Amazon Kinesis를 사용하면 모든 데이터가 수집된 후에야 처리를 시작할 수 있는 것이 아니라 데이터가 수신되는 대로 처리 및 분석하여 즉시 대응할 수 있습니다.

Amazon Kinesis를 사용하면 실시간 스트리밍 데이터를 손쉽게 수집, 처리 및 분석할 수 있으므로 적시에 통찰력을 확보하고 새로운 정보에 신속하게 대응할 수 있습니다. Amazon Kinesis는 모든 규모의 스트리밍 데이터를 비용 효율적으로 처리할 수 있는 핵심 기능과 더불어 애플리케이션 요구 사항에 가장 적합한 도구를 선택할 수 있는 유연성을 제공합니다. Amazon Kinesis에서는 기계 학습, 분석 및 기타 애플리케이션을 위해 비디오, 오디오, 애플리케이션 로그, 웹 사이트 클릭스트림 및 IoT 텔레메트리 데이터와 같은 실시간 데이터를 수집할 수 있습니다. Amazon Kinesis를 사용하면 모든 데이터가 수집된 후에야 처리를 시작할 수 있는 것이 아니라 데이터가 수신되는 대로 처리 및 분석하여 즉시 대응할 수 있습니다.



AWS Kinesis는 데이터 수집구간과 데이터 처리구간 중간에 위치한다. 즉. 대용량의 데이터를 안정적으로 수집구간에서 수집을 하고, 데이터 처리 구간인 AWS 플랫폼(EC2,S3,DB..등)에서 다양하게 소비 할수 있도록 환경을 제공 한다.
AWS Kinesis가 존재 하는 이유는 다양한 데이터들을 수집하고, 이것을 다양한 포맷으로 만들어 주기 위함이다. Kinesis가 '스트리밍 데이터 처리'를 해준다는 것이다. 다양한 형태로 들어오는 방대한 데이터를 가공해서 소프트웨어가 사용 가능하도록 다양한 출력물을 만들어 주거나, 데이터 저장소에 저장하도록 해준다.
Amazon 에서는 Kinesis를 이렇게 설명 하고 있다. - Kinesis는 ' 완전 관리형 스트리밍 데이터 서비스 ' 입니다. 수십만 개의 소스에서 클릭 스트림, 애플리케이션 로그, 소셜 미디어와 같은 다양한 유형의 데이터를 Amazon Kinesis 스트림에 지속적으로 추가할 수 있습니다. 그러면 몇 초안에 Amazon Kinesis 애플리케이션에서는 스트림의 해당 데이터를 읽고 처리 할 수 있습니다.
AWS Kinesis는 다양한 데이터들을 빠르게 가공해준다. 그리고 이러한 데이터들은 다양한 포맷으로 출력줌으로써 다양한 소프트웨어서 사용해주게 해준다.
AMazon Kinesis Data Streams가 빅데이터 솔루션의 게이트웨이로 사용되고 있다. 다양한 소스에서 데이터가 Amazon Kinesis 스트림에 추가되고, 스트림 데이터가 다양한 Amazon Kinesis 애플리 케이션에서 사용됩니다. 이예에서는 한 애플리케이션(노란색)이 스트리밍 데이터에 대해 실시간 대시보드를 실행하고 있습니다. 다른 애플리케이션(빨간색)에서는 간단한 집계를 수행하고 처리한 데이터를 Amazon S3로 내보냅니다 S3의 데이터는 추가적인 처리 과정을 거친 후 복잡한 분석을 위해 Amazon Redshift에 저장됩니다. 세번째 애플리케이션(녹색)은 Amazon S3로 원시 데이터를 내보내는데, 이데이터는 좀더 저렴한 장기 저장을 위해 Amazon Glacier에 보관합니다. 이러한 세가지 유형의 데이터 처리 파이프라인은 모두 동시에 병렬로 발생합니다
키네시스는 aws플랫폼을 다수 사용해 응용하며, 키네시스 데이터 스트림으로 계속 데이터를 보낼수있으며, 엄청빨리 키네시스 애플리케이션에 도달할수 있다.
여러의 배치 같은 경우에는 몇분,몇시간,몇일 간격으로만 배치작업을 돌리기 때문에 데이터 속도보다 빠르지 못하거나 데이터분석을 할 수 없는 경우가 많아 만약 분석을 했다라고 치더라도 이미 시간이 흐른뒤라 믿음직한 정보가 아닐수있다. 그러기 때문에 탄생하게 스트리밍이고 그 스트리밍을 완전관리형으로 만든것이 키네시스이다.
Amazon Kinesis를 사용하면 모든 데이터가 수집된 후에야 처리를 시작할 수 있는 것(배치같은것)이 아니라 데이터가 수신되는 대로 처리 및 분석하여 즉시 대응 할 수 있다.
이점
실시간
Amazon Kinesis를 사용하면 실시간으로 스트리밍 데이터를 수집, 버퍼링 및 처리할 수 있으므로 몇 시간 또는 며칠이 아니라 몇 초 또는 몇 분 만에 통찰력/분석정보을 얻을 수 있습니다.
완전관리형
Amazon Kinesis는 완전관리형으로 스트리밍 애플리케이션을 운영하므로 사용자는 인프라를 관리할 필요가 없다.
확장성
Amoazon Kinesis는 모든 규묘의 스트리밍 데이터를 처리하고 매우 짧은 지연 시간으로 수많은 소스의 데이터를 처리할 수 있다.
Amazon Kinesis에는 여러가지 애플리케이션이 존재한다
1. Amazon Kinesis Video Streams
비디오 스트림을 캡처,처리 및 저장 용도
Amazon Kinesis Video Streams를 사용하면 분석, 기계 학습 및 기타 처리를 위해 커넥티드 디바이스에서 AWS로 비디오를 쉽고 안전하게 스트리밍할 수 있습니다.
작동 방식