물론 xhigh가 성능은 좋음. 실수도 잘 안 하고 꼼꼼하고. 근데 GPT모델이 코드를 좀 과하게 짜는 경향이 있음. weirdml 벤치 보면 오푸스랑 미디엄이 비슷한데 코드 줄이 더 적음. 물론 줄이 적다고 좋은 코드는 절대 아니지만, 써 본 경험상 앤트로픽 모델이 더 코드를 깔끔하게 쓰는 느낌은 있었음. 그래도 미디엄이 비비는거 자체가 GPT 스템 성능이 얼마나 좋은지 보여준다 생각함.
그리고 최근 앤트로픽 모델 추세 보면 성능 향상폭이 꽤 큼. 이번에 소넷5가 진짜 잘 뽑혔을 경우 4.5 소넷과 오푸스 간의 격차보다 더 크지 않을까 싶음.
마지막으로 위의 결과는 하네스가 최적화되지 않은 상황의 결과일텐데 클로드 코드의 플러그인이나 훅, 스킬, mcp, 룰 등의 경험이 코덱스보단 훨 나은거 같음.. 결국 클코 코덱스 둘 다 쓰게 되긴 하더라
소넷도 오푸스보다 작은거지, 따지고 보면 체급이 딸리는 모델은 아닌지라, 제대로 뽑히면 고점돌파도 가능할 듯