앤트로픽에서 클로드 소넷 100만 토큰짜리 API 풀었다고 해서 벤치 나온 거 봤는데 ㅋㅋㅋㅋㅋ
결론부터 말하면 이거 좀 계륵임

1. 장문 텍스트 요약 (영화 대본에서 장면 찾기)

속도: 이건 소넷이 그냥 압살함. 100만 토큰 때려박고 돌리니까 41.8초 컷
제미나이 플래시(69.2초), 프로(78.0초) 그냥 가지고 놂. ㄹㅇ 속도는 미쳤음.

결과물 품질: 근데 문제는... 결과물이 존나 부실함. 소넷은 500단어로 찍 싸는데, 제미나이는 1500~3000단어로 존나 상세하게 뽑아줌.

정확도: 이건 또 소넷 승. 제미나이 이 새끼들은 영화 제목도 틀리는 환각 증세 보이는데 소넷은 오류 없음. 안정성은 ㅇㅈ.

2. 코드 분석

정확도: 이건 제미나이가 개쳐바름. 점수 매겨보니까 제미나이 플래시가 91.7점으로 1등 먹고, 소넷은 74.6점으로 꼴찌

속도: 소넷(36초)이 제미나이(39초)보다 아주 약간 빠르긴 한데... 이 정도 정확도 차이면 걍 제미나이 쓰는 게 맞지 않냐?

3. 가격

이게 진짜 선 넘음 ㅋㅋ 100만 토큰 입력 기준

클로드 소넷 4: $6.00

제미나이 2.5 프로: $2.50

제미나이 2.5 플래시: $0.30

거의 20배 차이 ㅋㅋㅋㅋㅋ 미쳤냐고 진짜 ㅋㅋㅋㅋㅋ

<3줄 요약>

속도는 소넷이 압살, 근데 결과물이 부실하고 비쌈.

정확도랑 디테일은 제미나이가 압살, 특히 코드는 플래시가 짱먹음.

빠르고 안정적인 '요약'만 필요하면 소넷, 그 외 모든 건 가성비 씹어먹는 제미나이 써라.

- dc official App