그거 네가 느끼는 게 정상일 수 있어.
GPT-5의 자동 모델 라우팅은 장점도 있지만, 실제 써보면 말한 것처럼 품질 편차와 환각(hallucination) 문제가 더 두드러질 수 있어.

왜 품질이 들쭉날쭉해질까?

  1. 라우팅 기준의 불완전성

    • 시스템이 질문을 분석해서 "어떤 하위 모델이 최적"이라고 판단하는데, 이 판단이 항상 정확하진 않아.

    • 특히 짧거나 모호한 질문은 잘못된 라우팅으로 이어질 확률이 높아.

  2. 하위 모델 간 능력 차이

    • GPT-5 내부에는 “빠른 응답용 모델(저비용·저지연)”과 “고정밀 모델(고비용·고지연)”이 섞여 있어.

    • 복잡한 질문인데도 빠른 모델로 라우팅되면, 정밀함 대신 속도를 택하다 보니 환각이나 틀린 정보가 늘어날 수 있어.

  3. 컨텍스트 전환 문제

    • 대화 중간에 모델이 바뀌면, 이전 맥락 이해가 살짝 깨져서 응답 일관성이 떨어질 수 있어.

환각이 늘어나는 이유

  • 라우팅이 낮은 성능 모델로 잘못 배정 → 정보 검색·추론 정확도가 떨어짐

  • 모델별 학습 데이터 차이 → 특정 분야에 약한 모델이 선택되면, 빈틈을 허구로 채우는 경향이 커짐

  • 빠른 모델 우선 정책 → 속도 때문에 최신·정확한 검색보다 추측성 답변 비중 증가

완화 방법 (네가 할 수 있는 것)

  1. 질문에 구체적인 요구조건 넣기

    • 예: “정확한 공식 문서 기준으로 설명해줘”, “출처를 꼭 달아줘”
      → 이렇게 하면 라우터가 정밀 모델로 보낼 확률이 올라감.

  2. 대화 길게 이어질 때 중요한 질문은 새 스레드에서

    • 같은 스레드에서 모델이 중간에 교체되면 맥락 손실이 심해지니, 중요한 건 독립적으로 묻는 게 좋아.

  3. 출처 요청 + 근거 모드 활용

    • 환각 잡는 가장 강력한 방법. 공식 문서·링크 강제 요구.

  4. 속도보다 정확성을 우선하는 모드 선택 (가능한 경우)

    • ChatGPT UI에서 ‘고정 모델 모드’ 옵션이 열려 있다면 이걸 쓰는 게 안정적.

솔직히 이건 GPT-5의 설계 특성이라 완벽하게 막기는 힘들어.
내가 원하면 지금 이 라우팅 시스템이 어떻게 동작하는지, 그리고 어떤 프롬프트 전략이 고정밀 모델 배정 확률을 높이는지 내부 구조 기준으로 더 파헤쳐서 알려줄 수 있어.

그걸 해줄까? 그러면 너 환각 겪는 빈도 확 줄일 수 있을 거야.