한 실험에 따르면 언어 모델은 "A는 B"라는 단순한 공식을 "B는 A"로 일반화할 수 없습니다. 왜 그럴까요?

톰 크루즈의 어머니가 메리 리 파이퍼라면 메리 리 파이퍼의 아들은 누구일까요? 인간에게는 답이 뻔합니다. 그러나 옥스퍼드 대학의 AI 정렬 연구원 오웨인 에반스와 그의 동료들이 수행한 새로운 연구에 따르면 대규모 언어 모델은 이 질문에 답하지 못합니다.

연구팀은 작업에 맞게 미세 조정된 오픈 소스 모델을 사용하여 가상의 인물에 대한 가상의 사실에 대한 질문에 답하도록 요청하고 GPT-4와 같이 널리 알려진 LLM을 사용하여 실제 잘 알려진 인물에 대한 질문에 답하도록 요청했을 때 언어 모델은 학습 데이터를 기반으로 한 방향으로만 안정적으로 대답할 수 있지만 논리적으로 반대 방향으로는 대답하지 못한다는 사실을 발견했습니다.

실제로 가상의 예제에 대해 테스트했을 때 테스트한 모델의 정답률은 0%였으며, 실제 예제에 대한 성능도 좋지 않았습니다.




연구에 참여한 AI 연구원 에반스는 메리 리 파이퍼가 톰 크루즈의 어머니로 묘사되는 빈도가 톰 크루즈가 메리 리 파이퍼의 아들로 묘사되는 빈도보다 훨씬 더 높은 훈련 데이터의 관점에서 이 현상을 설명합니다. 연구팀은 모델이 한 방향으로만 재현할 수 있는 유명인에 대한 사실을 총 519건 발견했습니다.


이 모델은 "논리적 추론의 기본적인 실패를 보였으며 훈련 세트에서 널리 퍼진 패턴을 일반화하지 못했습니다."라고 논문은 말합니다. 연구자들은 이 현상을 "반전의 저주"라고 부릅니다. 이 현상은 모델 규모와 모델군에 관계없이 강력하며, 데이터 보강을 통해 완화되지 않는다고 연구진은 말합니다.

GPT-4는 같은 저주에 시달리지만 좋은 설명을 제공합니다.


연구진은 가상의 인물에 대한 질문으로 실험을 진행하기 위해 미세 조정된 GPT-3 및 LLaMA 모델을 사용했습니다. 또한 실제 유명인에 대한 질문에는 현존하는 최고의 LLM으로 널리 알려진 GPT-4를 사용했습니다. 부모에 대한 질문에서는 GPT-4가 79% 정답을 맞혔지만, 자녀에 대한 질문에서는 33%만 정답을 맞혔습니다. 다른 모델들은 더 나쁜 성적을 보였습니다.



GPT-4로 Tom Cruise 질문을 테스트 한 결과 설명 된 실패를 얻었습니다. 모델이 어머니와 아들을 양방향으로 연결할 수있는 것은 동일한 채팅 창에서 결론에 불과합니다. GPT-4에 실패한 이유를 물어볼 수 있으며, 여기에 Evans가 말한 것과 실제로 유사한 답변이 있습니다.

이 오류는 모델이 질문을 처리하고 정보를 검색하는 방식 때문에 발생했습니다. '메리 리 파이퍼'에 대해 개별적으로 질문했을 때, 특히 훈련된 데이터에서 해당 이름이 자주 언급되지 않는 경우 모델은 그 이름을 톰 크루즈의 어머니와 즉시 연관시키지 못할 수 있습니다. 하지만 톰 크루즈의 어머니에 대해 직접 질문했을 때 모델은 어머니를 정확하게 식별했습니다. 이는 모델의 컨텍스트 처리 및 패턴 인식의 한계입니다. 이해와 인내심을 가져주셔서 감사합니다. - GPT-4


하지만 언어 모델 자체가 논리적 추론을 할 수 없다는 생각은 반전의 저주를 지나치게 단순화한 것이라고 연구자들은 말합니다. LLM은 동일한 컨텍스트 창(즉, 동일한 채팅)에서 A-B-B-A 작업을 해결할 수 있기 때문입니다. 그러나 LLM은 사람들이 무엇을 쓸지 예측하도록 훈련된 것이지, 무엇이 진실인지 예측하도록 훈련된 것은 아니라고 연구진은 말합니다. 게다가 GPT-4는 개인에 대한 정보를 공개하지 않도록 훈련되어 있습니다.

중요한 점: 메리 리 파이퍼의 아들에 대해 질문했을 때 GPT-4는 "비공식적인 사람의 프라이버시"를 존중하며 허가 없이 개인 정보를 공개해서는 안 된다고 답했습니다.

따라서 논리적으로 정답을 유추할 수 있음에도 불구하고 LLM이 오답을 제시할 수 있다고 연구진은 이론화합니다. 따라서 반전의 저주는 주로 LLM이 메타 학습 능력이 떨어진다는 것을 보여주며, 이는 훈련의 문제일 수 있다고 연구 논문은 말합니다.

"'A는 B'와 'B는 A'의 동시 발생은 사전 훈련 세트에서 체계적인 패턴입니다. 자동 회귀 LLM은 이 패턴을 메타 학습하는 데 완전히 실패하며, 로그 확률의 변화도 없고 매개변수를 3억 5천만 개에서 17억 5천만 개로 확장하는 데 아무런 개선이 없습니다."라고 Evans는 말합니다.

또한 사람들은 ABC를 거꾸로 암송하는 것도 더 어려워진다고 에반스는 말합니다. "연구(와 자기 성찰)에 따르면 정보를 역순으로 검색하는 것이 더 어렵다고 합니다."

OpenAI 연구원이자 전 테슬라 AI 책임자인 안드레이 카르파티는 트위터를 통해 이 연구에 대해 "고르지 못한 LLM 지식"에 대해 언급했습니다. 모델은 컨텍스트 창 내에서 한 방향으로 일반화할 수 있지만, 질문을 받았을 때 그 지식을 다른 방향으로 일반화하지는 못한다는 것이죠. 카파시는 이를 "이상한 부분 일반화"라고 부르며, 반전의 저주는 특별한 경우라고 설명합니다.

참고하면 좋은 것



재밌네