Claude 3.7 Sonnet, Grok3, Gemini2.0pro, ChatGPT o1(+딥리서치) 써봄
<문제해결능력>
일단 Grok3 Gemini2.0pro, chatgpt o1 claude 3.7 모두 내가 연구하고 있는 프로젝트에 대한 해결방법을 물어봤음.
그런데 제시하는 방법론이 거의다 똑같았음. 4~5개의 방법론을 추천해주는데 일반론적인 거에 가까웠음. 다만 grok3가 좀 독창적인 방법을 제시했는데
효과자체는 그렇게 크지 않아보이는 방법론이라서 좋다가 말았음.
문제해결능력은 비슷비슷해 보였음
<코드로의 구성능력>
claude sonnet 3.7 >= gemini2.0pro >= grok3, chatgpt o1딥리서치
클로드만 유일하게 온전한 시스템이라 부를수 있는 유기적인 코드를 생산해냈음. 반면에 나머지 3개는 그냥 모듈만 딸랑떼와서 코드 예시를 보여주었음
클로드가 압도적인 걸로 느껴짐.
또한 클로드는 코드를 개선했으면 좋겠다는 말에 훨씬 더 의미있는 개선된 코드를 보여줌.
<종합>
claude sonnet 3.7 > gemini2.0pro > grok3 > chatgpt o1(혹은 딥리서치 기능 on)
일단 추론속도와 정확성, 시스템 이용능력등을 모두 고려했을때 claude가 1등
gemini가 2등인 이유는 비슷한 퍼포먼스 내에서 가장 빠른 추론능력을 보여줌
grok3는 추론속도면에서 o1보단 나았고 새로운 문제해결방법을 제시한것에 잠재력을 평가
chatgpt는 느리고(딥리서치는 더 느림) 그것에 비해 너무 일반론적인 답변만 제시해서 꼴등
해당 댓글은 삭제되었습니다.
LLM테스트 한것만 여기에 올릴려구
딥리서치는 o3아닌가? 클로드소넷 띵킹은왜안써본거냐
o1에도 있고 o1이 큰 모델이라 그걸로 해봄
딥리서치는 코딩은 그리 특출나지 않음
나도 ideation할때는 grok3이 압도적으로 좋더라