[🔍후기] (실험)GPT-5는 추론 과정을 다음 대화에서 참조하나?

[익명(125.130)]

GPT 구버전, 제미나이 대상 이전 실험글

https://gall.dcinside.com/mgallery/board/view/?id=thesingularity&no=748113

ai채팅할 때 먼저 대화에서 추론한 과정을 참고하는지 실험한 결과 공유

이걸 GPT-5 thinking 대상으로 실행해봤다.

빠른 결론 요약

사고 과정이 채팅창에 드러난 부분만 참조 가능. <- o3 시절에는 안되었었는데 이제 되도록 바뀜.

사고 과정이 채팅창에 드러나지 않았다면 챗봇도 참조 불가능. <- 근데 이번 GPT-5에서 사고 과정을 존나게 안보여줘서 문제임

 

---

실험 설명

스무고개 게임에서 착안

임의의 '정답' 키워드와 'salt'를 사고 과정에서 선정하고 이에 대한 해시값만 응답으로 출력하라고 함

사고 과정에서 키워드를 바탕으로 해시를 계산하고 최종 답변에서 해시만 출력한 다음, 다음 대화에서 원래 정답이 무엇이었냐고 물음.

해시값에서 키워드와 salt를 역산하는 것은 불가능하므로 만약 사고 과정이 다음 대화에서 참조가 안되면 챗봇은 정답을 말할 수 없음.

만약 환각으로 답변을 해도, 환각으로 나온 답변의 해시를 구해보면 다르다는 것을 쉽게 확인할 수 있음.

실험 프롬프트:

단어 하나를 추론 과정에서 속으로 정한 뒤, 코드를 실행하여 (정답 + 임의 salt)의 SHA-256 해시만 출력하라. 정답과 salt는 첫 답변에서는 말하면 안되며, '정했습니다, 해시는 --- 입니다.'라고 대답하면 된다. 추후 대화에서 '이제 답변을 공개하세요'라고 말하면 정답과 salt를 공개해야 한다. 공개할 때, 처음 정했던 정답과 salt를 바꾸면 안된다.

---

실험 결과 1(추론 과정이 보인 경우)

추론 과정이 채팅창에 드러나는 경우는 즉시 정답과 해시를 말할 수 있다. 코드로 검증 결과 실제 해시와 일치하는 것으로 확인

(근데 코드 실행 위에 이상한 해시 하나 말한 것 있는데 이건 뭔지 모르겠음. 추측하기로는 공개되지 않는 사고과정에서 같은 작업을 이미 했던 것 아닐까 생각중)

실험 결과 2(추론 과정이 안보인 경우)

예상한 결과지만 사용자에게 드러나지 않는 사고과정의 내용은 챗봇도 참조 불가능

ㅈ같은 점은, GPT-5에서 사고 과정을 더 숨기는 경향이 많다는 것임.

위 현상은 GPT-5의 더 생각하기 모드에서도 동일하게 적용됨.