통계적인 빅데이터는 이해했늕데 프로그래밍에서 말하는 빅데이터는 뭐임?

[익명(183.109)]

넷플릭스처럼

a라는 영화를 본 사람이라면

b라는 영화를 좋아할 확률이 높다

이걸 모집단을 존나 늘려서 확률을 높이는게 빅데이터인데

프로그래머는 여기서 뭘 하는거냐?

데이터 처리를 담당하는건가

[고양아(lastiii)]

정확하게 이야기하자면 위의 영화 예는 빅데이터보다는 머신러닝으로 다루는 영역이라고 해야 맞을 것 같음. 머신러닝 = 빅데이터도 아니고 머신러닝이 빅데이터에 속하는 영역도 아니니

[고양아(lastiii)]

빅데이터에 대한 제일 기본적인 정의는 "기존의 데이터 처리 기술(보통 RDB)로 처리할 수 없을 만큼 양이 많은 데이터"

[고양아(lastiii)]

그리고 그런 빅데이터들을 어떻게든 다뤄보려고 나온 기술들이 NoSQL들

[익명(183.109)]

그럼 빅데이터라고 하는건 그냥 데이터 처리기술이냐?

[커헠(msca8h)]

얌마 니가 말하는 그 추천서비스를 구현할려면 프로그래밍을 해야지. 그리고 고양아/ 저거 빅데이터 맞는데 - dc App

[고양아(lastiii)]

가장 대표적인 예로 하둡을 들자면, 하둡의 기초적인 컨셉은 "싸고 사양이 높지 않은 컴퓨터들을 병렬로 이어서 양이 많은 데이터들에 대한 처리를 분산시켜 처리하자"

[익명(183.109)]

난또 엄청난 프로그래밍적 능력을 발휘해서 모집단의 평균이랑 표본평균이랑 가까워지는 알고리즘이 있는줄 알았네

[커헠(msca8h)]

빅데이터는 진짜 소위 말하는 buzzword 라서 빅데이터를 가지고 뭔가 분석이나 가공을 하면 다 빅데이터라고 부른다. 요즘 빅데이터는 머신러닝 기법이 거의 필수적으로 들어가니까 동의어처럼 쓰이고. 사실 응용통계 기법들 대부분은 머신러닝으로 볼 수 있음 - dc App

[고양아(lastiii)]

위에 말한 것 처럼 빅데이터의 기본적인 정의는 "기존의 데이터 처리 기술로 처리할 수 없을 만큼 양이 많은 데이터"라고 했을 때 머신러닝은 보통 학습 대상 데이터 양이 많으면 많을 수록 결과가 정확하게 나오기는 함. 따라서 보통 빅데이터 처리 기술들을 이용해서 머신러닝을 구축함. 근데 머신러닝이라는 기술 자체는 빅데이터에 속하지 않음. 즉, 머신러닝시에 "많은 양의 데이터"가 필수 조건은 아님.

[커헠(msca8h)]

사실 넷플릭스 정도 되면 저런 단순한 기능구현도 쉽지 않다. 저거를 모든 서비스 이용자들에 대하서 실시간으로 돌린다고 생각해봐. 그러면 알고리즘도 중요해지고 구현기법도 중요해진다 - dc App

[익명(175.223)]

모집단을 늘리는데 확률이 어케 늘어나냐? 바보임?

[고양아(lastiii)]

일례로 빅데이터를 처리하는 기술들이 나오기 이전에도 머신러닝에 대한 연구는 계속되고 있었음. 다만 빅데이터 처리 기술들이 나오면서 그 이론들을 가지고 실 서비스에 적용할 만큼 컴퓨팅 파워가 받쳐지게 된거임

[커헠(msca8h)]

고양아/ 원래라면 니 말이 맞는데 요즘 사람들은 용어를 대충 쓰다보니까 의미를 혼용하는 경우가 많더라 - dc App

[익명(183.109)]

그니까 데이터 처리기술 이라는거자너. 난 표본의 속성을 모집단의 속성에 가깝게 붙이는 새로운 알고리즘을 연구하는줄 알았음

[커헠(msca8h)]

고양아/ 빅데이터 처리 기술이라는게 병렬처리 이런거 말하는거면 오늘날의 응용통계류 머신러닝 기법들만큼이나 오래됐다 - dc App

[고양아(lastiii)]

커헉 // ㅇㅇ 그 혼용되는 부분을 말하고 싶었음.

[커헠(msca8h)]

ㅇㅇ/ 이 대화를 어떻게 이해해야 그런 결론이 나오냐 - dc App

[익명(183.109)]

프로그래머가 빅데이터 분야에서 하는 일이 뭐임 그럼

[익명(183.109)]

데이터처리아님?

[커헠(msca8h)]

ㅇㅇ/ 그게 아니라 처리하는기술, 분석하는기술, 응용하는 기술 다 빅데이터라는 단어를 쓴다고. 처리하는 기술은 병렬/분산/고성능처리고, 분석은 통계고, 응용은 머신러닝인데 그냥 데이터 양이 많은 곳에서 하는걸 요즘은 다 빅데이터라고 하더라 이 얘기다 - dc App

[고양아(lastiii)]

병렬처리는 빅데이터를 처리하기 위한 한가지 방법의 예로써 말한거고.. 이런 기법들을 이용해서 기존의 데이터 처리 기술(주로 RDB)로 다루지 못할 만큼의 데이터를 다루게 된 시점 이후에 사람들이 이런 기술들을 빅데이터라고 정의함

[커헠(msca8h)]

아니 저 3가지를 다 프로그래머가 하지 그러면 평균 편차 이런거는 하늘에서 떨어지냐 - dc App

[익명(183.109)]

아니 내 원래 질문이 프로그래머가 빅데이터 영역에서 뭘하는지 묻는건데

[커헠(msca8h)]

?? - dc App

[익명(183.109)]

처리된 통계를 해석하는것도 프로그래머가 하는거임?

[커헠(msca8h)]

해석도 연구레벨에서나 사람이 하지 그거 다 자동화하는데 - dc App

[dd(183.109)]

그럼 데이터를 어떻게 해석하느냐보다 어떻게 처리할것이냐가 더 중요한거 맞음?

[커헠(msca8h)]

해석이랑 처리를 떼어낼 수 없는 관계라고 본다. - dc App

[고양아(lastiii)]

좀 큰 회사에서는 데이터 분석 자체는 데이터 과학자 직군이 하고, 개발자들은 데이터 분석을 위한 플랫폼을 만드는 일을 함. 근데 작은 회사에서는 개발자가 하는 곳이 많은 모양.