대용량 처리가 aws 분산처리 설계로 해결된다고???

[익명(175.223)]

당장 1000만 고객중 1명의

3년치 거래내역 데이터 조회 할려면

Aws가 알아서 쿼리도 분산해서 날려주냐?ㅋㅋ

[익명(211.36)]

멀티마스터 검색

[익명(211.36)]

오로라, 클라우드 스패너 검색

[익명(211.36)]

이미 aws는 단순히 DB를 매니징해주는 영역을 넘었음

[익명(175.223)]

그래? 저게 됨??

[익명(211.36)]

제목만 보고 답해준건데 글 내용보니까 걍 인덱스 잘타면 되는거아님? 분산처리까지 갈 필요가있나

[익명(175.223)]

;;;;

[fender(mysticfall)]

그리고 "대용량 처리"라고 뭉뚱그려 이야기하는 건 맥락에 따라 꽤 다른 이야기가 될 수도 있지, 뭐 SQL 튜닝이 될 수도, NoSQL 이야기가 될 수도, 하둡이나 Spark 같은 이야기가 될 수도 뭐 그런 거다.

[fender(mysticfall)]

AWS 기준으로, '대용량 처리'를 데이터 조회라고 전제하고 이야기하면 관심 있다면 Glue / Cloud Formation 같은 거 한 번 봐라.

[익명(211.36)]

클라우드 포메이션은 테라폼같은거아닌가? 내가 잘못알고있나

[fender(mysticfall)]

아.. 미안 말이 헛나왔다. 그게 아니라 레이크 포메이션... 비슷한 게 넘 많아 ㅎㅎ;

[fender(mysticfall)]

최근에 잠깐 해봤는데 글루하고 같이 쓰더라.

[익명(211.36)]

데이터레이크 개념인가 이름보니까 ㅇㅅㅇ

[fender(mysticfall)]

ㅇㅇ 맞음

[익명(175.223)]

찾아보니 구성인데 기존 디비 구성된걸 갈아엎어야 되는거 아님??

[익명(211.36)]

글내용이랑은 좀 다른얘기임 ㅇㅇ 글 내용은 위에 말했듯이 그냥 인덱스나 잘태워야

[fender(mysticfall)]

근데 보통 천만 단위에서 뭐 이런 저런 조회하면 어떤 형태로든 분석을 위해서 재가공하는 게 일반적이긴 하지. 그리고 뭐 ELK 스택 같은 걸로 갈게 아니라면 위에서 이야기한 것도 방법 중 하나이긴 하다.

[익명(175.223)]

Elk는 내가 하고 있는데;;;...ㅋㅋㅋㅋ

[fender(mysticfall)]

여튼 다시 정리하면 '대용량 처리'라는 건 맥락에 따라 다양한 걸 의미할 수 있다는 거. 뭐 메시징 기반 아키텍쳐도 대용량 처리고 ELK도 어떤 의미에선 대용량 정보 다루는 거는 맞지 ㅎㅎ