결론적으로 Glue가 Data Pipeline 향상버젼

data pipeline의 대부분의 기능을 글루에서 사용가능

글루는 서버리스 형태고 스탭펑션의 플로우의 한 형태로 있을 수도 있고

글루 워크플로우를 통해서 글루 잡들을 분기, 순번적으로 처리 가능

ETL 서비스 선택 시 Glue를 선택하는게 더 효율적

도쿄 리전 기준

Data Pipeline

가격은 데이터 파이프라인은 실행 빈도당 청구

낮은 빈도 ( 하루에 한번 이하 ) 약 월 0.5달러
높은 빈도 ( 매시간 혹은 12시간마다 ) 약 월 1달러

매시간 돌아가는 데이터 파이프리인 5개를 돌리면 월 5달러

Glue

작업 시간당 청구 DPU 단위

1DPU = vCPU 4개 16GB 메모리
아파치 스파크, 스파크 스트리밍, 파이썬 쉘 사용 가능

파이썬 쉘은 최소 약 시간당 0.02 달러 ( 0.0625 DPU )

나머지는 최소 약 시간당 0.88 달러 ( 2 DPU )

위의 기본 ETL 외 개발 엔드포인트, 카탈로그 크롤러 등 다양한 가격 형태가 존재

나는 이번에 글루 써볼 예정 ㅁ.ㅁ

Crawler -> S3 -> Glue -> Redshift -> BI -> User

      스케줄러   |  이벤트

스케줄러, 이벤트 트리거 처리는 EventBridge 사용 예정

클라우드워치 이벤트랑 가격은 동일 백만 리퀘당 1달러라 써볼 예정

로그 처리는 SNS로 내보낸 뒤 Chatbot 사용해서 슬랙 채널에 통지 예정

- dc official App