spark에서
raw데이터에서 집계(min, avg)등을 한 결과를
raw데이터에 새로운 col로 붙여야하는데
join이 최선이냐?
예를들면
----- raw ----
id value
1 2
1 3
2 3
3 1
2 7
---- result ---
id value avg
1 2 2.5
1 3 2.5
2 3 5
3 1 1
2 7 5
이건데 집계 따로 한 테이블 만들어서 raw랑 join이 최선이야?
spark에서
raw데이터에서 집계(min, avg)등을 한 결과를
raw데이터에 새로운 col로 붙여야하는데
join이 최선이냐?
예를들면
----- raw ----
id value
1 2
1 3
2 3
3 1
2 7
---- result ---
id value avg
1 2 2.5
1 3 2.5
2 3 5
3 1 1
2 7 5
이건데 집계 따로 한 테이블 만들어서 raw랑 join이 최선이야?
댓글 0