처음에는 그럴싸해보이는 답변 해주는데 레퍼런스 찾아보면 걍 전제부터가 틀림. 조금만 내 생각 물어봐도 똥꼬 존나 빨아주고, 반대로 비판해보라고 해도 억까 존나 함. 챗지피티 프로가 그나마 괜찮은데 얘도 인과관계를 확인하면서 답변하는게 아님.


질문할 때 ‘1이면 2이고, 2면 3이지 않냐‘ 물어보면 2에서 3으로만 이어지는 과정만 검토하고 1이 사실인지, 어떤 조건에서 1이 성립하는지 검토를 안함. 이게 self attention의 한계라고 생각하는게, 결국에는 주어진 문장 안의 토큰들만 볼 수 있다보니까 자연스레 질문의 배경이 되는 조건에는 신경을 안쓰게 되는 거임. 조건부 확률을 통해 최대우도추정을 하게 되면 ‘Context가 참일 때 다음 토큰을 예측하라’가 되는 것이기 때문에 실제로 그러할 듯.


아님말고 ㅋㅋ