EMR을 통해서 불필요한 DB 트랜잭션이나 동작중인 적합하지 않은 트랜잭션에 대한 로그를 분석
분석이 끝난 데이터는 EMRFS(S3) 에 저장
1.
RDS에 dump 파일로 데이터 업로드
2.
RDS에서 트랜잭션 로그를 CloudWatch Logs에서 저장
3.
S3에 Spark 코드 업로드(CloudWatch Logs에 있는 RDS 트랜잭션 로그 분석)
•
Spark Operator를 이용해서 분석 진행
4.
분석이 끝난 결과는 EMRFS(S3)에 저장
공부 해야할 것
•
EMR File System
•
Spark Operator
•
RDS 트랜잭션 로그 및 분석
AWS Labs Architecture
•
EMR on EKS with Karpenter
•
S3에 분석할 데이터 업로드
•
S3에 분석에 사용할 PpSpark 코드 업로드
•
start-job-run을 통해 분석완료