1. 우선 수학적 정의 P^2 = P 임. Symmetric 은 추가 조건이고 idempotent만 단순 정의임


2. 그렇다면 수학적 의미는 무엇인가?


우선 canonical 한 표현을 먼저 잘 봐야함 : projection onto comlumn space of P(abb. C(P) ) along C(I-P). 즉, 여기서 along 이라고 붙은게 사영을 시키는 방향임. 한국말로 굳이 풀어보면 임의의 벡터 (편의상 n-euclidean space 안의)에 대해 행렬 P가 만드는 열공간에 I-P 방향으로 사영시킨다는 뜻.


이를 잘 생각해보면 P가 정해지면 내리는 방향은 님이 맘대로 정할 수 없고 P에 따라 정해진 방향으로 내리게 된다는 것을 알 수 있음. 수식으로 써보면


R^n = C(P) + C(I-P) (as a direct sum) 이고 임의의 벡터v를 P의 열공간의 원소와 I-P의 열공간의 원소의 합으로 unique하게 표현할 수 있다는 것임. (간단하게 증명가능)

여기까지가 수학과에서 주로 설명하는 내용임. 쓰다가 Intuition이 하나 더 생각나서 적어보면, 이건 내 해석인데 임의의 벡터 v를 P가 오로지 설명하는 성분과 그 나머지 성분으로 유일하게 뽑아낼 수 있다? 이 정도로 요약 가능할 것 같음. 우리 회귀분석 생각해보면 이러한 해석이 아주 낯설지는 않을 것임.




3. 그럼 통계에서 왜 symmetric 을 주고 우리가 회귀에서 배우는 H는 직교인가?


간단함. 위에서 Projection 이 벡터를 날리는 방향이 정해진다고 했는데 이때 날리는 방향이 들어가는 space와 수직이면 문제 풀때 아주 수월해짐. 이를 수학적으로 써보면 C(P) 와 C(I-P)가 orthogonal complement 관계라는 뜻. 이를 이용하면 간단히 증명이 되는데 이 때가 바로 P=(P^t)(P) 가 필요 충분조건이 돼서 P가 symmetric 인 경우 우리는 이를 orthogonal projection이라고 보통 불러줌. 즉, 회귀에서 다루는 projection과 주로 통계에서 다루는 상황은 직교상황에서 잘 풀리기 때문에 많은 사람들이 충분히 오해할 수 있는 거라고 보면 됨.


4. Non - symmetric projection example (or non-orthogonal example)


P= ( 1 1 0 0) 으로 두고 (밑에 행이 0 0) 좌표 그림 그려보면 P^2 =P 여서 사영행렬 이지만, 수직하게 들어가는 projection이 아님을 바로 확인할 수 있음. 즉, 모든 사영이 수직사영일 필요는 없다!




5. 정리


P : 정의상은 only idempotent만 . Symmetric 추가하면 Orthogonal projection.

통계에서는 주로 orthogonal projection을 다룬다. 그래서 두개를 그냥 마구잡이로 쓰는 경우도 있다.