이번 두 모델 비교했을 때 생긴 뚜렷한 차이가 있어서 적어봄.
GPT5:
- 할루시네이션 ㅈㄴ 심해짐.
- 문제를 제시할 때 내가 원하는 결론이 포함되면 그에 끼워맞추기식 논리가 발생.
- 논리적 비약, 공백이 더 심해짐.
간단하게 "XX조건에서 x>1임을 보여줘 의 풀이 과정에 x<1/N임을 보였으므로 x>1입니다." 이런 짓이 자주 나옴.
Gemini:
- 글의 의도에 맞는 문제 설정 능력이 탁월함.(GPT는 떠먹여주는 행위가 필요했는데, gemini는 formulation이 깔끔)
- 논리적 어려움이 발생하는 부분에서 "타협가능한 가정"을 제시하는 것으로 논리 점프를 완화하려함.
- 연구자 입장에선 실패의 시점과 이유를 파악할 수 있어서 훨씬 가치있다고 느껴짐.
- 느낀 단점으로 식을 simplify하기 위한 변수를 너무 자주 도입하며 가끔 같은 대상을 중복하여 변수 설정하기도 함.
AI 분야 논문 쓰는 사람으로 느낀 실사용 체감이니 재미로 봐주셈
나도 지금 과제하면서 느끼는 건데 gpt-5 thinking 환각은 정말 못쓸 수준임. 자꾸 시발 레퍼런스에서 존재하지도 않는 문장 가져오길래, 반드시 인용한 문장의 원문을 함께 제공하라 했더니 아예 맛이 가버림. o3 은 이정돈 아니었던 것 같은데 너무 실망적임. 걍 o3 돌려줬으면 좋겠다
이것도 공감하는게 레퍼런스는 실제로 존재하는데 해당 논문에 그런 문장이 없는 경우가 있음 ㅋㅋ 웃긴건 ai paper중에서도 이런 경우가 실제로 있어서 어찌보면 human aligned가 맞는거 같기도
반대로 제미나이에서도 그러던데. 그냥 케바케인듯. 둘 다 동시에 경쟁시켜서 모순을 제거해야 하는거 같음.