사실 그냥 통계에 대한 내 생각임.
"all models are wrong, but some models are useful." 박스가 오래전 페이퍼에서 쓴 말임. 링크 남겨둘테니 읽고 싶은 사람은 읽어봐 오래된거라 요즘 세태랑 맞지 않을 수 있지만 대가는 대가임 ㅇㅇ.
http://www-sop.inria.fr/members/Ian.Jermyn/philosophy/writings/Boxonmaths.pdf
어쨌든 저 말처럼 통계 모델은 다 틀렸다. 예를 들어 어떤 현실 데이터가 linear한 관계를 따르냐 이말이지. 하지만 아직도 그 고리타분한 linear regression 쓰잖아? 가정이 너무 강력하단 단점이 있지만 이건 linear model이 갖는 장점이 확실하기 때문에 쓰고 있는거임. 해석의 간편함, 추정의 단순함 등등. 그러면 저 linear trend에 대한 가정을 완화하면 되잖아? 라고 할 수 있지. 이건 이미 모델이 존나 많아. smoothing spline, local linear, 등등 존나 많다. 하지만 얘네들은 linear regression에 비해 결국 해석력에서 딸린다.
다시 베이즈로 돌아오면 베이즈도 강점과 약점이 확실하다고 생각함. 강점은 샘플사이즈가 적었을 때, asymptotic theory의 수혜를 못받았을 때 추정력이 강력함. 뿐 아니라 bayes model은 dependence structure가 명확한 데이터의 경우 (spatial이나 network가 대표적) 모델링할 때 frequentist들보다 수월하게 모델링하고 추정할 수 있음. spatial 통계 검색해보면 베이즈만 나오는게 이런 이유. 단점 또한 존나 명확한데, 현실 데이터를 위한 모델링 이후에 니들이 수통에서 배운거처럼 conjugate이여서 예쁘게 나올확률이 0으로 수렴하기 때문에 MCMC로 추정함. MCMC는 수많은 연구자들이 여러 방법론들을 내놨지만 여전히 오래걸리고 지랄맞고 그렇다. 밑에 써놓은 prior에 대한 문제도 있을 수 있고.(근데 이건 개인적으로 별 문제가 안됨. prior는 말그대로 prior라 사람마다 다른거고 이건 방어가 많이 되어있다고 생각) 내가 생각하는 베이즈의 가장 큰 문제는 시발 이게 통계 전공자(학부한정)한테도 설명하기가 좀 어려움. 안해본 사람이 MCMC scheme을 이해하기 만무하고 모델링도 베이즈로 훈련받은 사람이 아니면 거부감이 좀 들수 있다 생각.
근데 어차피 여기 박사 별로 없잖아. 베이즈냐 프리퀀티스트냐로 고민하지 마셈. 어차피 취직은 딥러닝 공부한 놈이 하니까.
박사급 공부하는 사람들은 이미 저 정도는 다 알고 있을거고, 난 통계를 너무 사랑해!하고 공부를 계속하는 사람이라면 좀 더 폭넓게 모델들을 공부하기를 바람. 상황마다 데이터마다 필요한 모델들이 바뀔테니까. 모델들의 장단을 말할 수 있으면 너도 충분히 통계 고수!
결국 베이지안은 특유의 연산 때문에 이제까지도 그래왔고 앞으로도 하드웨어에 대한 의존성이 크지 않을까 싶은데
영양가 있는 글은 개추
개추
그냥 당연한거 아닌가 경제학도 그렇고 현실과 맞는 모델이 어딨음 그건 자연과학에나 있는거지 통계학은 자연과학이 아님 사회과학임
이건 내 생각과는 달라서 댓글남긴다. 통계학은 자연과학도 사회과학도 아니고 방법론이다. gene expression을 분석하기 위한 통계학은 자연과학인가? 아니면 노동시장을 분석하기 위한 계량경제 기법은 사회과학인가? 아니지 않을까? 그리고 통계 모델과 사회현상을 분석하기 위한 모델(경제모델) 또한 구분할 필요가 있음. 구체적으로 empirical이랑 theortical model들을 구분해야댐..
자연과학은 발견이고 사회과학은 발명임. 자연과학영역은 자연이 어떤 원리로 이루어져있는지 찾아내는거고 찾아냈다면 자연은 그 자연과학법칙에 따른다고 얘기할수있음. 사회과학은 사회가 어떤 원리로 이루어져있는지 찾아내는게 아니라 (찾아낼 수도 없음) 법칙을 만들어 내서 이거랑 비슷하게 들어맞을까?를 분석하고 연구하는거임 참고로 공학은 자연과학이 아님
자연과학 발전을 위해 공학이 쓰일 수 있는데 그걸 자연과학이라고 하면 안되지
공학도 발견이 아니라 발명임
그래서 자연과학은 정답을 찾으려고 연구하는거고 공학이나 사회과학은 정답을 찾는게 아니라(애초에 그 분야는 정답이란게 없는 영역임) 이론을 만들어 내서 인류에 적용시키는거고 뭐가 더 적합할지를 연구하는거임
정치에 정답이없는것과 같은 궤임. 최선의 선택을 찾으려고 연구하는거지, 정답을 찾는게 아님. 정답이 없거든. 정답은 자연과학에만 있는거임.
공학 통계학 경제학 정치학 다 최선의 모델을 만들어내려고 노력하는거지. 뭐가 정답이다 라는건 없음. 그러니 어떤 모델을 내놓아도 100%맞다 할순 없음. 자연과학 같은 곳에서나 정답찾으려고 연구하는거임
물론 현실은 자연과학조차 100%맞는 법칙을 발견해내기 힘들지. 인간이 자연을 완벽히 이해하기란 어려운거니까. 어쨌든 취지자체가 다르다는거임. 자연과학은 정답을 찾기위해 노력하는거고, 다른분야는 최선의방식을 만들기위해 노력하는거임.
맥스웰방정식이 정답이다, 피타고라스의 정리가 정답이다 등등 자연과학은 정답을 찾는건데, 자동차가 정답이다 에어컨이 정답이다라는 표현을씀?그건아니지 공학은 정답을 찾는게 아님 통계학 경제학도 마찬가지임. 인류에 적합한 모델을 만들기 위해 애쓰는거지 정답을찾는게아님. 애초에 자연과학을 제외하곤 정답이란 개념이 있지가 않음
평균이 정답임? 편차가 정답임? 그딴말을 쓰지않지 그냥 그 개념을 만들어서 이용하는거지. 근데 미분은 정답이고 적분은 정답이지
최선의 방식을 찾기 위해 연구하는것 뿐임. 정답을 찾는게 아님. 어떤 모델을 내놔도 100%맞지 않을 수 밖에 없음. 100%맞는건 자연과학에나 있는거임 예를들어 코사인법칙은 100%들어맞지.
민주주의가 정답임? 현재로썬 최선의 방식이란거지
자연과학제외하고 현실과 맞는건 아무것도 없음. 그나마 최대한 최선의 방식을 찾고자 하는것뿐임. 어떤통계모델이든 경제이론이든 다 현실과 맞는게 아님. 근데 그렇다고 아무것도 안하고 손가락만 빨순 없잖아? 뭐라도 분석하고 조금이나마 설명가능한 모델을 만들고 해야 문명 발전이 있는것이지
니말이 다~ 맞다
와 너무 똑똑하다!! 너 말이 다 맞는거 같아!! - dc App
정답은 객관적인 영역에만 있고, 주관적인 영역엔 정답이 있는게 아니라 일반적인게 있는거임. 일반적인게 정답인건 아님. 예를들어 '190cm은 189cm보다 큰 키다'는 정답임.근데 '190cm은 큰 키다'는 정답이 아니라 일반적인거임. 그래서 틀리다라는 표현은 객관적인 영역에서 쓰고, 다르다라는 표현은 주관적인 영역에서 씀.
자연과학만 객관적인 영역이고 나머지는 다 주관적인 영역이며 주관적인 영역에선 무엇이 일반적인걸까를 고민하는거임. 자연과학에선 일반적인걸 찾는게아니라 반례가 하나도없는 100%맞는 정답을 찾으려고 하는거임
통계 이론 자체는 수학적인거라 객관적인건데 그걸 해석하는게 주관적인거임. 가령 p value 0.05일때 결과값이 이렇다라고 수학적으로 객관적으로 나온걸, 아 효과 있다 없다라고 해석하는게 주관적인거임 p value가 0.1이면? 1이면? 10이면? 그때마다 수학적 객관적 결과값은 달라지지. 단지그뿐이고 해석을 어떻게 하느냐가 주관적인거임 정답이없음
미안 쓰다보니 p가 10일순없지 하여튼
자연과학을 제외하곤 무엇이 일반적인건지 고민하고 노력한다는거임. 일반적인게 정답이 아님. 자연과학만 반례 하나도 없는 100% 딱떨어지는 정답찾으려고하는곳임.
그래서 통계는 경제는 정치든 뭐든 현실과 맞는건 없음 비슷한거라도 만들어내려고 노력하는것뿐임
박스도 나와 같은 생각으로 그런 말을 한 거임.
p value가 0.04면 효과없고 0.06이면 효과있는거임? 180.3cm이면 큰키고 179.6cm이면 작은키임? 수학은 그런 기준을 내세우지 않음. 단지 결과값이 이렇다고 알려주는거에서끝나는게 수학임. 통계는 해석하는 사람 주관에 따르는거임. 그래서 어떤 모델을 쓰는게 정답일까가 아니고 일반적일까를 고민하는게 통계 경제 등등임
베이지안 vs.프리퀀티스트 이것은 초창기 논쟁과정에서 나온 비생산적 프레임. 그냥 여건 및 데이터 상황마다 편하고 좋은 것 쓰면 됨.
dependence structure가 어떤걸 의미하는거야?? - dc App
샘플들이 independent하다고 가정하는게 불가능한 경우. 네트워크, 시계열, 공간 데이터등이 대표적임