[일반] 정렬하기 전과 후의 상관계수

[익명(183.180)]

피어슨 상관계수 구하는데

데이터를 정렬하기 전과 후의 상관계수가 하늘과 땅차이 입니다.

예를들어

X ~ N(0,1)

Y ~ N(20, 1)

n = 100

이런식으로 정규분포를 따르는 난수를 담는 배열 X와 Y를 생성해서 상관계수를 구하는데

정렬하기 전엔 0가까이 나오는데

정렬 후엔 1에 가까이 나옵니다.( 반복시도 )

이론적으론 정렬 전과 후의 상관계수가 같아야 하지 않나요?

[통갤러 1(141.214)]

굉장히 좋은 질문입니다. 아마도 X와 Y를 각각 따로 정렬한 것 같네요. X도 내림차순이나 오름차순으로 정렬되었고, Y도 내림차순이나 오름차순으로 정렬된거죠? 따로 정렬된 X, Y는 각각 원본 X, Y의 순서통계량 (order statistic)이라고 볼 수있습니다. 정렬된 X, Y가 강한 상관관계를 갖는 것은 충분히 설명될 수 있는 현상입니다. 정규성 검정에서 쓰이는 Q-Q plot을 생각해보세요. 잔차가 정규분포에 가까우면, 잔차와 정규분포의 quantile값으로 산점도를 그렸을때 직선에 가까운 모습이 나옵니다. 다시 말해 정규분포로 부터 뽑은 정렬된 데이터는 정규분포의 quantile 값과 강한 선형 상관관계를 갖습니다.

[통갤러 1(141.214)]

정규분포로부터 뽑은 정렬된 두 X, Y는 각각 정규분포의 quantile 값과 강한 선형상관관계를 갖을 것이므로 이 두 정렬된 데이터 사이에도 강한 선형 상관관계가 있을 것으로 예상할 수 있습니다. 요약하자면, corr(정렬된 X, 정규분포 quantile)=1에 가까움, corr(정렬된 Y, 정규분포 quantile)=1에 가까움, corr(정렬된 X, 정렬된 Y)= 1에 가까움

[통갤러 2(221.155)]

x, y를 각각 정렬하면 (매우 당연히) x가 증가할 때 y도 증가함 벡터 v_i=(x_i, y_i) 같이 x랑 y를 쌍으로 묶어서 (x오름차순이든 y오름차순이든) 정렬해야 정렬 전후의 cor이 같겠지