챗GPT, 미국판 수능서 커닝했다?…학계 “답 외워서 상위 10% 성적”


헤럴드경제=김유진 기자] 대화형 인공지능(AI) 챗GPT 최신판이 미국 대입시험에서 상위 10% 성적을 기록했다고 홍보했지만, 미리 알려준 답을 ‘커닝’한 결과라는 비판이 학계에서 나왔다.

하지만 미국 프린스턴대 교수진은 이런 주장을 정면으로 반박했다.

이 대학 컴퓨터공학과 아르빈 나라야난 교수 등은 뉴스레터 '엉터리 AI'(AI Snake Oil)에 실은 글에서 자체 검증을 토대로 이같은 주장을 펼쳤다.

연구진에 따르면 GPT-4는 앞서 훈련받은 정보를 토대로 치렀다. 미리 시험지를 읽어본 뒤 시험을 치는 것과 다르지 않다는 지적이다. 단순히 기억하고 있던 정답을 되풀이하는 것만으로도 성적을 낼 수 있다는 게 이들의 해석이다.

특히 GPT-4는 2021년 9월까지 정보를 토대로 훈련을 했는데, 실제로 2021년 이전 문제를 풀었을 때는 10점 만점에 10점, 2021년 이후 문제는 쉬운 것도 다 틀려 0점을 받은 것으로 드러났다.

교수진은 "GPT-4가 훈련 세트(training set)에서 답을 암기할 수 있다는 점을 보여준다"고 주장했다.


하지만 미국 프린스턴대 교수진은 이런 주장을 정면으로 반박했다.

이 대학 컴퓨터공학과 아르빈 나라야난 교수 등은 뉴스레터 '엉터리 AI'(AI Snake Oil)에 실은 글에서 자체 검증을 토대로 이같은 주장을 펼쳤다.

연구진에 따르면 GPT-4는 앞서 훈련받은 정보를 토대로 치렀다. 미리 시험지를 읽어본 뒤 시험을 치는 것과 다르지 않다는 지적이다. 단순히 기억하고 있던 정답을 되풀이하는 것만으로도 성적을 낼 수 있다는 게 이들의 해석이다.

특히 GPT-4는 2021년 9월까지 정보를 토대로 훈련을 했는데, 실제로 2021년 이전 문제를 풀었을 때는 10점 만점에 10점, 2021년 이후 문제는 쉬운 것도 다 틀려 0점을 받은 것으로 드러났다.

교수진은 "GPT-4가 훈련 세트(training set)에서 답을 암기할 수 있다는 점을 보여준다"고 주장했다.

개발사인 오픈AI는 GPT-4를 훈련하면서 어떤 정보를 썼는지 아직 공개하지 않고 있다.

챗GPT 시험 성적을 둘러싼 논란은 이번이 처음이 아니다. 미국 샌타페이연구소의 멜라니 미첼 교수에 따르면 챗GPT 첫 버전은 경영학석사(MBA) 시험에서 질문의 표현을 바꾸자 답을 찾지 못한 채 헤맨 것으로 나타났다.

오픈AI는 실제 시험과 훈련용 정보가 뒤섞이지 않도록 검토한다고 밝혔지만, 나라야난 교수진은 "피상적이며, 엉성하고, 불안정한 검토"라고 일축했다.

한줄요약: 챗 gpt =복붙기계, 잘봐줘야 대화형 검색기

- dc official App