통계분석을 이용한 연구를 크게 두 가지 분류할 수 있다.

첫번째는 관측연구 (observational study) 이고, 둘째는 실험연구 (experimental study)이다.

이 두 연구형태는 여러가지 차이점이 있지만 통계이론과 관련된 큰 차이점은 변동의 근원(source of randomness)이다.


관측연구에서는 대개 특정한 모집단이 있고, 그 모집단에서 표본을 뽑는 과정에서 변동이 발생한다. 예를 들어 10만명의 사람이 포함된 모집단에서 1000명을 뽑아서 모집단에 대한 추론을 하면 10만에서 1000명을 뽑는 랜덤 샘플링 방법에 따라 최적의 추정량이나 통계방법이 달라진다. 가장 단순한 Simple Random Sampling도 있고, 층화추출(stratified sampling)이나 포아송 샘플링 (poisson sampling) 등등 여러가지 방법이 있다. 이에 대한 이론을 연구하는 분야가 표본조사론 (survey sampling)이다. 하지만, 현실에서는 단순히 무한모집단에서 독립이고 같은 분포를 가진 (independent and identically distributed, iid) 표본을 뽑았다는 가정하에 만들어진 모수적 방법을 이용해서 분석하는 경우가 대부분이다. t검정, ANOVA, 회귀분석 등이 이에 속한다. 유한모집단으로 부터 뽑힌 표본은 iid 표본이 아니라는 점에서, 모수적 방법은 관측연구에서 발생하는 변동을 정확히 반영하는 모형은 아니다. 그러나, 모집단이 크기가 크고 표본 크기가 모집단의 크기에 비해 상대적으로 많이 작은 경우 모수적 방법을 쓰는 것이 더 엄밀한 통계적 방법들과 근사한 결과를 낸다는 것이 알려져있다.


만약, 표본추출이 랜덤하게 이루어진 것이 아니라 누군가 확률과 상관없이 그냥 정한 거라면 통계적 방법을 뒷받침하는 변동이 없기 때문에, 통계분석을 하는 것 자체가 틀렸거나, 분석 결과를 모집단 전체로 확장하는 것이 무리가 있다. 예를 들어, 연구자가 친구들이나 친척들을 모아놓고 성별과 당뇨병에 관계에 대해서 조사했더니, 남자가 당뇨병에 유의미하게 더 많이 걸렸다. 그렇다고 해서 한국인 전체, 혹은 인류 전체로 이 결과를 확장해서, 일반적으로 남자가 당뇨병에 더 많이 걸린다고 결론 내릴 수는 없다. 단순히, 연구자의 주변인 집단에서는 이런 경향이 있었다는 정도의 결론을 내릴 수 있을 뿐이다.


실험연구에서는 물론 피험자들을 모집단에서 뽑는 과정에서의 변동도 발생하지만, 결정적인 변동은 피험자에 대한 처리 할당이다. 예를 들어, 20마리의 실험 쥐를 10마리씩 나누어 신약과 구약을 투여하여 비교할 때, 신약 그룹과 구약 그룹을 어떻게 나눌지를 랜덤하게 정한다. 이런 랜덤 할당이 실험연구에서의 주된 변동이다. 실험연구에서 표본을 뽑는 과정에서의 변동이 없는 예로, 특정 쥐실험에 쓰이는 쥐들은 쌍둥이들의 유전적 유사성에 준할 정도로 유전적으로 동질한 쥐들을 사용한다. 쉽게 말해 쌍둥이 쥐 20마리를 10마리 실험군, 10마리 대조군으로 나눠 실험하는 거나 마찬가지다. 이러한 실험 연구의 변동을 엄밀하게 반영한 통계적 방법으로 Fisher's Randomization Test가 있다. 그러나, 현실에서는 단순히 모수적방법이 대신 사용되고 있다.


관측연구든 실험연구든 그의 주된 변동 혹은 랜덤 매커니즘과 모수적방법이 가정하는 무한모집단에서 iid random sample을 뽑았다는 가정과 어느정도 괴리가 있다. 그러나, 우리가 흔히 쓰는 t검정, ANOVA, 회귀분석 같은 모수적 방법들은 가정이 약간 맞지 않아도 p-value나 신뢰수준, 점추정량 같은 것들을 신뢰할 수 있을 정도로 근사값을 준다. 이런 성질을 통계이론에서는 Robustness라고 부른다.


George Box는 "All models are wrong, but some are useful"이라고 했다. 빈도주의의 방법이나 베이지안의 방법이나 비모수적 방법이나 현실의 문제를 풀 수 있는 문제로 단순화시키는 과정에서, 엄밀함을 어느 정도 희생했다. 각자 50보 100보일 뿐 어느정도 틀린 것이다. 따라서, 어느 방법이 더 엄밀하냐 정확하냐도 특히 통계전공자라면 탐구할만한 주제이지만, 그에 못지 않게 중요한 것은 어느 통계적 방법이 우리가 가진 문제를 푸는데 더 유용(useful)한가? 일 것이다.