Learning (Jinseung Yu)
/
AWS Korea worldskills
/
ETL Pipeline
Search
ETL Pipeline
다양한 형식의 데이터를 통합하고 정규화
하여 분석 가능한 형태로 변환해야 하며
특히 비정형 데이터는
Glue의 커스텀 분류기를 활용
하여 처리해야함
예상 시나리오
Architecture
Solution
참고
IAM
EC2
S3
Kinesis Data Stream
Kinesis Data Firehose
Lambda
Apache Flink
Glue
Athena
Study
Dynamic Partitioning
Apache Flink Application