특이점갤와서 볼때마다 느끼는건데
이번 GPT-5 나오기 전부터 계속 제미나이 2.5 프로는 공홈에서 유료결제해서 쓰든, AIStudio에서 쌀먹을 하든 실사용이 과거 o4-mini나 o3보다 훨 못했는데
(빠른거랑 답변의 길이랑 질(화법)이 좋은건 인정, 근데 환각도 너무 심하고(아에 대놓고 환각저지르면 내가 알겠는데 답변에 뭔가 교묘하게 환각을 섞음) 지가 가지고 있는 도구를 전혀 못쓰는 느낌임, 내가 오히려 카탈로그 외워서 일일히 도구를 다 써달라고 질문에 적어놔야 겨우 쓰는듯하나 느낌)
왜 벤치는 2.5프로가 좋게 나오는지도 이해가 안되고
이번에 GPT-5 써보니 라우터 문제 해결된 이후로 환각도 전혀 없는 수준이고 애가 엄청 똑똑하고
그 뭐같은 아부랑 이모티콘도 안써서 아주 만족스러운데
왜 벤치상으론 2.5pro가 이것에 비비는건지
왜 특갤에서는 GPT-5 보다 제미나이 2.5pro가 낫다는 글이 간간히 보이는지 모르겠음
이건 순수한 질문임
3줄요약
1. 실사용에서는 GPT보다 제미나이가 훨씬 딸리고 답변도 못믿고 못쓸수준이라고 생각함(교묘한 환각+뭐같은 도구/검색사용)
2. 그런데 벤치랑 후기보면 이런 제미나이가 GPT에 비비거나 앞선다고 나와있음
3. 이거 왜그러냐?
해당 댓글은 삭제되었습니다.
아 그래? 2.5pro도 그러냐 특갤에서 IQ테스트보니 2.5프로는 GPT-5보다 조금딸리면서 o3랑 비슷한것처럼 보이는데 경험상으론 절대 그건 아니라 판단되어가지고
뭐 하는데 딸리는거임? 대학 전공 서적은 충분히 씹어먹던데. 코딩말고 일반적인 수준에서 딸릴께 있음?
답변의 질자체는 좋은게 맞는데 환각이 너무 심함, 고집도 너무 심하고 그리고 구글검색을 너무 못쓰는 느낌 대환장 세가지가 합쳐지다보니 답변을 도저히 신뢰할수가 없는 수준임 아에 거짓이면 눈치 까서 내가 보완하는데 교묘하게 진실과 거짓을 섞어놔가지고 더 알아내기도 힘들게 하고
@ㅇㅇ 중간에 욕 엄청 먹던 모델쓰다가 떠난가봄. 그 때 고집도 쌔고 검색도 잘 안함. 지금도 검색 안하면 최신정보 환각은 있음.
환각이 o3보다 심하다는건 인간환각아니냐. 프론티어모델중 환각밴치 상위권은 유일하게 o3였는데.
공홈에서 도구 쓰면 환각 거의 없었음 그래서 벤치만 보고 환각 때문에 못 쓴다고 야랄하던 애들이랑 애들이랑 실제 써본 애들이랑 괴리
그냥 너가 편향 아님?
환각하는게 제미나이가 아니라 나였던건가?
@ㅇㅇ gpt야 최근에 발표했으니 지피티보다 구리다고 느낄 순 잇는데 아예 못 쓸 정도라고 느낀 거면 뭔가 잘못된 거라 보는데 너가 많이 안 써보고 인상만 남았다던가
@ㅇㅇ2(36.38) 아래에서 말한대로 내가 검색기능으로 정보수집이랑, 각종 문서 정리요약 자주 시키는데 도구를 너무 못써서 GPT보다 못하다고 느낀거일지도 모르겠네 검색 1등 구글에서 만든건데 구글검색을 뭔가 30%정도 부족하게 하는 느낌임
지능은 o3보다 살짝 아래가 정배, 검색 비롯한 도구사용 잘 못하는것도 팩트 근데 여전히 육각형이긴 함 - dc App
아 내가 검색기능으로 정보수집이랑, 각종 문서 정리요약 자주 시키는데 도구를 너무 못써서 GPT보다 못하다고 느낀갑네 전반적으로 범용으로써는 좋다는게 여론인거 같구만
검색이랑 도구사용 개좆같이 못하는건 맨날 까이는 요소중 하나임 나도 3.0에서 개선했으면 좋겠음 - dc App
정보 검색 위주면 제미나이가 o3보다 환각많은거 맞음. 지금도 검색안하고 검색했다고 지랄하면 답없음. 환각밴치는 주어진 정보에서 환각있는지 테스트하는거라서 네가 사용한거랑 다른거 맞음. ais에서 검색켜고 쓰면 지금보다 나을껀데 o3, gpt5만큼은 안됨.
아 이게 맞는듯 실제로도 GPT>AIS>제미나이 공홈순으로 만족스러웠는데 그냥 내 주 사용용도로는 검색이랑 도구 뭐같이 쓰는 제미나이가 부적절했던듯 제미나이 다음모델나와서 개선될때까지는 그냥 GPT구독에 AIS정도 보조로 써야겠네