사실 그냥 통계에 대한 내 생각임.


"all models are wrong, but some models are useful." 박스가 오래전 페이퍼에서 쓴 말임. 링크 남겨둘테니 읽고 싶은 사람은 읽어봐 오래된거라 요즘 세태랑 맞지 않을 수 있지만 대가는 대가임 ㅇㅇ.


http://www-sop.inria.fr/members/Ian.Jermyn/philosophy/writings/Boxonmaths.pdf


어쨌든 저 말처럼 통계 모델은 다 틀렸다. 예를 들어 어떤 현실 데이터가 linear한 관계를 따르냐 이말이지. 하지만 아직도 그 고리타분한 linear regression 쓰잖아? 가정이 너무 강력하단 단점이 있지만 이건 linear model이 갖는 장점이 확실하기 때문에 쓰고 있는거임. 해석의 간편함, 추정의 단순함 등등. 그러면 저 linear trend에 대한 가정을 완화하면 되잖아? 라고 할 수 있지. 이건 이미 모델이 존나 많아. smoothing spline, local linear, 등등 존나 많다. 하지만 얘네들은 linear regression에 비해 결국 해석력에서 딸린다.


다시 베이즈로 돌아오면 베이즈도 강점과 약점이 확실하다고 생각함. 강점은 샘플사이즈가 적었을 때, asymptotic theory의 수혜를 못받았을 때 추정력이 강력함. 뿐 아니라 bayes model은 dependence structure가 명확한 데이터의 경우 (spatial이나 network가 대표적) 모델링할 때 frequentist들보다 수월하게 모델링하고 추정할 수 있음. spatial 통계 검색해보면 베이즈만 나오는게 이런 이유. 단점 또한 존나 명확한데, 현실 데이터를 위한 모델링 이후에 니들이 수통에서 배운거처럼 conjugate이여서 예쁘게 나올확률이 0으로 수렴하기 때문에 MCMC로 추정함. MCMC는 수많은 연구자들이 여러 방법론들을 내놨지만 여전히 오래걸리고 지랄맞고 그렇다. 밑에 써놓은 prior에 대한 문제도 있을 수 있고.(근데 이건 개인적으로 별 문제가 안됨. prior는 말그대로 prior라 사람마다 다른거고 이건 방어가 많이 되어있다고 생각) 내가 생각하는 베이즈의 가장 큰 문제는 시발 이게 통계 전공자(학부한정)한테도 설명하기가 좀 어려움. 안해본 사람이 MCMC scheme을 이해하기 만무하고 모델링도 베이즈로 훈련받은 사람이 아니면 거부감이 좀 들수 있다 생각. 


근데 어차피 여기 박사 별로 없잖아. 베이즈냐 프리퀀티스트냐로 고민하지 마셈. 어차피 취직은 딥러닝 공부한 놈이 하니까.


박사급 공부하는 사람들은 이미 저 정도는 다 알고 있을거고, 난 통계를 너무 사랑해!하고 공부를 계속하는 사람이라면 좀 더 폭넓게 모델들을 공부하기를 바람. 상황마다 데이터마다 필요한 모델들이 바뀔테니까. 모델들의 장단을 말할 수 있으면 너도 충분히 통계 고수!