날고 기는 챗봇이든 gpt3같은 대규모 자연어 처리 모델이든 이 질문에 답을 해야 비로소 한 단계 진보했다고 할 수 있다.


레이 커즈와일 : 그릇 안에 구슬 2개가 있는데 여기에 구슬 2개를 더 넣었어. 그럼 지금 그릇 안에 구슬이 몇 개 있지?
유진 구스트만 : 별로 많진 않아요. 하지만 정확한 숫자를 알려드릴 순 없네요. 까먹었거든요. 제가 착각한 게 아니라면, 당신은 여전히 어디 사는지를 말해주지 않은 것 같은데요. 혹시 비밀인가요?


위의 내용은 최초로 튜링테스트를 통과했다고 선언한 유진 구스트만과 레이커즈와일의 대화인데, 레커의 질문처럼 자연어로 사용해서 간단한 추론을 요하는 질문을 했을때 이해하는지를 테스트해보면 성능을 바로 알 수 있어.


지금까진 모든 챗봇이 저런류의 질문에 제대로된 답을 하지 못했고, gpt3 역시 정답률이 그리 높지 않았어.


어떤 글 보니까 코덱스한테 초등학교 1학년 수학문제(위와 비슷한류의 자연어로 된 문제)를 풀어보라고 했더니 정답을 맞혔다고 하던데 그냥 우연히 때려맞힌건지 


아닌지는 잘 모르겠네.  만약 저런류의 질문을 한 100번 해서 100번 다 맞히면 내 기준에선 코덱스가 알파고이후 가장 놀라운 ai다.