지금 제미나이 2.5 프로가 최고모델이라고 얘기하고
그 근거로 벤치마크 데이터를 보여주는데
이때까지 경험상
벤치에서 앞선다고 나오는 여러 모델들을 써보면
한국어 사용자 입장에선
gpt4o~o3를 못이긴다는 느낌이 들었습니다
제미나이와 gpt에게 같은 질문을 하면
gpt가 좀더 본인에게 만족스러운 결과를 내기도 하고(본인 메모리 때문에 그런거같긴함)
최근에는 논문 읽고 문단단위로 번역해달라 뭐 그런질문을 하면
계속 요약을 준다던지 하더라고요
그래서 사용자경험 측면, 특히 한국어 사용자 입장에서 저런 벤치마크 데이터는 그렇게 와닿지 않는데
이 갤러리에서는 저런 벤치마크 향상을 순수하게 agi 에 한발 더 가까워졌다는 측면에서 환호를 하는것인지
실사용에서 저정도 벤치마크 성능향상폭이 체감이 돼서 환호를 하는건지 궁금합니다...
- dc official App
오늘 업뎃으로 다목적으로는 1황인거같음
추론모델은 코딩이나 이공계쪽에 쓰려고 하는거니까 님이 쓰는거랑 의도가 다른듯
벤치마크랑 본인 실무랑 다르면 다른거지 이것저것 찍먹해보고 본인한테 맞는거 찾아가면 되는거임
디시는 적당히 걸러들어야 하기도 하고
제미니 팬보이라서
용도마다 만족도가 다른 것 같음 난 o3 아스퍼거같아서 못써먹겠음
공웹에 논문올리고 이 수식 설명해줘. 그러니까 전체 내용 기반해서 알려주던데 최근에 InternVL3 논문에서 native multimodal training에 대해 잘 이해가 안가서 물어봤는데 이해가 쏙쏙되게 알려주더라
메모리 때문에 그런거 같으면 저장된 정보에 요구사항 빽빽하게 넣고 프롬프트도 필요한거 정확히 말해줘야 함 벤치마크 올라봐야 와닿지 않는다 ㄴ 어느정도 맞는말 그런데 벤치마크 추세대로 성능 향상 체감은 있음 ais에서 빌드 비교해보면 느껴질 수도?
전 이공계 대학원생인데 둘 다 써요 o3가 인풋 아웃풋 처리할 수 있는 토큰량이 괜찮고 하루 100번이면 당연히 o3썼을거 같은데 그게 아니라서 기존 내용 분석, 수정은 gemini 쓰고 새로운 아이디어가 필요하거나 평가가 필요하다 싶으면 o3쓰는편입니다