Apache Spark 쓰시면 됩니당.

[도커띠(dockerddi)]

짱빠름

- dc official App

[도커띠(dockerddi)]

분산컴퓨팅이라 ㅎㅎ - dc App

[dz(223.62)]

도커띠님 다루시는 데이터 스케일이 대충 어느 정도 되시나여

[dz(223.62)]

3만대쯤 로그 분석하려면 어느 정도가 좋을까여

[도커띠(dockerddi)]

프로세서 수는 양과 계산 시간을 상정하고 잡는것이라... - dc App

[dz(223.62)]

웅 그래서 현재 다루시는 스케일이랑 어느 정도를 목표로 잡고 굴리시는지 궁금해서여 질문이 넘 추상적인가...

[도커띠(dockerddi)]

넹 ... 3만대라도 실제 유효데이터, 칼럼 수가 적고, 시간이 넉넉하면 좋은 컴터 한대 계속 돌려도 되고, 비정형데이터에 파생되는 칼럼이 많고 조인까지 들어가는데 하루만에 처리해야되면 아마존 ec2 여러대 쓰셔야... - dc App