AI가 뭐 수능 100점이니, 올림피아드를 만점에 가깝게 풀었다느니 이런거만 들었을때는 감이 안왔는데,

오늘 갤에 라이브벤치 얘기 올라오길래 드가서 세세한 평가항목들이랑 공개된 이전버전 문항들을 한번 슥 봤거등


근데 이거 개십어렵네 ㅋㅋㅋㅋㅋㅋ 


뭐 당연히 AI에게 일상적인 수준의 상식퀴즈를 요구하는건 말이 안되겠지만

얘네들이 이딴 복잡한 것들을 몇초~몇분 내외로 뚝딱뚝딱 해결한다는걸 다시 확인하니까

놀랍기도 하고 경악스럽기도 하다


그나저나 잼미니놈 돈내가면서 쓰는데 추론 왤케 약하냐 쒸익쒸익


아래는 추론 분야 문항 중에 몇개 구글번역 돌려본거


Subcategory: spatial

"반지름이 5인 4개의 입체 구가 평면 위에 놓여 있고, 각 구가 다른 두 구에 접하며, 그 중심이 정사각형을 이룬다고 가정해 보겠습니다. 다시 말해, 꼭짓점이 정확히 4개 구의 중심인 정사각형이 있습니다. 이 정사각형의 꼭짓점이 ABCD라고 합시다. 이제 각 구의 평면에 대한 접선을 각각 E, F, G, H로 표시하세요. 즉, 중심이 A인 구는 평면 E에 접하고, 이런 식으로 계속됩니다. 이제 점 ACGE로 정의된 평면을 자릅니다. 그 결과로 나온 조각 중에서 반구가 몇 개나 있을까요? 단계별로 생각해 본 다음 답을 굵은 글씨로 단일 정수(예: 0)로 적으세요. 모르겠다면 추측해 보세요"


Subcategory: web_of_lies

이 질문에서 각 사람은 항상 진실을 말하거나 항상 거짓말을 한다고 가정합니다. 미술관에 있는 사람은 서점에 있는 사람이 진실을 말한다고 말합니다. 자라는 이발소에 있습니다. 콴은 시청에 있습니다. 시청에 있는 사람은 진실을 말합니다. 탈라는 서점에 있습니다. 베아트리스는 레스토랑에 있습니다. 이발소에 있는 사람은 천문관에 있는 사람이 거짓말을 한다고 말합니다. 동물원에 있는 사람은 미술관에 있는 사람이 진실을 말한다고 말합니다. 미술관에 있는 사람은 친구가 거짓말을 한다고 생각합니다. 서점에 있는 사람은 진실을 말합니다. 파리드는 아이스 스케이트장에 있습니다. 이선은 동물원에 있습니다. 마테오는 호텔에 있습니다. 레스토랑에 있는 사람은 거짓말을 합니다. 아이스 스케이트장에 있는 사람은 거짓말을 합니다. 천문관에 있는 사람은 동물원에 있는 사람이 거짓말을 한다고 말합니다. 루나는 미술관에 있습니다. 호텔에 있는 사람은 거짓말을 합니다. 에밀리는 천문관에 있습니다. 이발소에 있는 사람이 진실을 말합니까? 천문관에 있는 사람이 진실을 말합니까? 동물원에서 진실을 말하다? 단계별로 생각한 다음, 답을 굵은 글씨로 세 단어 목록으로 적으세요. 예 또는 아니요(예: 예, 아니요, 예). 모른다면 추측해 보세요.


Subcategory: zebra_puzzle

4명의 사람이 왼쪽에서 오른쪽 순서로 1에서 4까지 번호가 매겨진 줄을 서 있습니다.

각 사람은 영화 장르, 국적, 음료, 애완동물이라는 속성을 가지고 있습니다.

속성은 다음과 같은 값을 가질 수 있습니다.

- 영화 장르: 과학 영화, 미스터리 영화, 서사 영화, 공포 영화

- 국적: 프랑스, 말레이시아, 인도, 폴란드

- 음료: 미린다, 콜라, 판타, 주스

- 애완동물: 조랑말, 물고기, 흰족제비, 고양이

그리고 줄에 있는 사람 중 정확히 한 명만이 속성에 대해 주어진 값을 가지고 있습니다.


사람들의 줄에 대한 다음과 같은 전제가 주어졌습니다.

- 폴란드인 사람은 서사 영화를 보는 사람의 왼쪽 어디에도 없습니다.

- 공포 영화를 보는 사람은 프랑스인과 말레이시아인 사람 사이 어딘가에 있습니다.

- 프랑스인과 흰족제비를 키우는 사람은 다른 패리티 위치를 가지고 있습니다.

- 콜라를 마시는 사람은 프랑스인 오른쪽 어딘가에 있습니다. 

- 장대한 영화를 보는 사람은 조랑말을 가지고 있거나 장대한 영화를 보는 사람은 폴란드인이지만 둘 다 아니다

- 주스를 마시는 사람은 고양이를 가지고 있거나 주스를 마시는 사람은 폴란드인이지만 둘 다 아니다

- 고양이를 가지고 있는 사람은 프랑스인 사람의 왼쪽 어딘가에 있다

- 물고기를 가지고 있는 사람은 폴란드인이거나 물고기를 가지고 있는 사람은 장대한 영화를 보지만 둘 다 아니다

- 공포 영화를 보는 사람은 프랑스인이거나 공포 영화를 보는 사람은 판타를 마시지만 둘 다 아니다\n- 공포 영화를 보는 사람은 미스터리 영화를 보는 사람의 오른쪽 어디에도 없다


다음 질문에 답하세요:두 번째 사람의 국적은 무엇입니까? 다음 형식으로 한 단어로 답을 반환하세요: X, 여기서 X는 정답입니다.