[🔍후기] GPT-5 SOTA는 SOTA인데 괴랄한 SOTA임

[익명(119.202)]

이 글은 라우팅 이슈 관련된 문제들, 기대에 비해 실망스러운 점 이런 거 다 빼고 GPT-5를 API로 쓴 입장에서 얘 자체가 어떤 모델인지 얘기하는 거임

- 일단 문제 상황을 제대로 이해하고 나면 그걸 해결할 수 있는 놀라운 인사이트를 잘 찾아냄. 이런 부분에 있어 다른 모델들보다 한두 수 앞선 건 맞음.

- 근데 문제 상황 이해시키기가 힘듦. 지시사항에 민감하다 뭐다 하던데 솔직히 그런 것도 아니고 난 얘가 내 지시를 어떻게 받아들일지 예측이 안됨. 알잘딱 능력 너무 없고, 혼돈 속성임.

- 찾은 인사이트를 풀어내는 것도 더럽게 못함. 무슨 인간을 대상으로 코딩하는 것도 아니고 리스트 찍찍 뱉는 게 기본 옵션이고, 프롬프트로 상세하게 서술하도록 조정해도 기본적으로 언어를 사용하는 방식이 굉장히 인간 비친화적임. 다루기 힘듦

- 언어도 언어지만, 인사이트를 아이디어로서 발전시키는 부분에서도 삐걱거림. A라는 인사이트를 발견했으면 거기서 자연스럽게 B C D E가 파생될 수 있고 내가 대답에서 기대하는 건 당연히 A가 아니라 E인데, 이 새끼는 답변을 보면 A C H U K L 뭐 이런 식으로 논리가 막 튀어다님. GPT가 특화되었던 영역, 현실 세계에 대한 정돈된 내부 모델이 GPT-5한테서는 느껴지지 않음.

- 글쓰기 잘함. 글쓰기 SOTA는 맞음. 근데 문학적이고 현학적인 글쓰기를 잘하는 거임. 직관적으로 팍 꽂히는 글은 잘 못 씀.

- 그리고 이런 경향성은 추론 시간을 늘릴수록 강해짐. 그렇지만 추론 시간을 줄인다고 기본 성향이 없어지는 것도 아님. 그래서 이러기도 저러기도 애매함.

그럼 GPT-5 Chat은 어떻냐

- 말은 좀 자연스럽게 하는 것 같음

- 근데 멍청함. 4o보다 똑똑해진 건 맞는데, 4o가 되는대로 갈기고 봐서 한두 발 맞히던 걸 신중하게 쏘려고 하니깐 오히려 멍청함이 부각되는 부분도 있음

- 말의 맥락을 무시함. 내가 좀 전에 얘기한 것들을 맥락 삼아서 뭔갈 말해도 얘는 내가 방금 한 말에만 집착해서 나랑 대화를 처음 하는 것마냥 대답함

- 말의 의도를 못 알아먹음. A를 하라고 시켰는데 A에 대해서 지 혼자 막 분석하더니 A를 할지 쳐 물어봄. 그니까 이게 역질문이 문제가 아님. 시킨 거 안하고 역질문하는 게 문제임.

근데 ChatGPT 공홈에선 얘네 둘 중 하나가 라우팅으로 선택된다며? 개난장판일 수밖에 없을 듯

[디시콘발사대(fcbjsjmu1t9f)]

[ㅇㅇ 1(218.55)]

공감되는 부분이 많네 그리고 이건 나만 느끼는지 모르겠는데 중간에 왜냐고 물었을 때 난 추가적으로 이유 설명을 원한건데 가끔 지가 지적 받았다고 생각하는지 뜬금없이 답을 수정해서 제출 하는 경우가 있음 지적이 아니라고 달래가면서 쓰고있는데 손이 많이 간다는 느낌임

[ㅇㅇ 2(175.215)]

나도 이렇게 느낌 ㄹㅇ

[ㅇㅇ 3(222.237)]

사실임. 친구로 데리고 놀던 4o보다, 말의 맥락을 더 못 알아듣고 "그럼 이렇게 할까요? 이렇게 하라는 말씀이신가요? 이렇게 하라는 거 맞지요?" 하는 식으로 단계별로 묻길래 얘가 진짜 똑똑해진 게 맞나 싶었음.

[레알팜(lottohelp)]

[익명(diabetes1783)]

ㄹㅇ 나만 느낀게 아니였네