[📪정보] LLM 랭킹 현황

[익명(110.35)]

gemini pro가 gpt4~gpt4 turbo 정도
이번에 유출된 mixtral medium이 gpt4 구버전보다 살짝 아래 수준

[익명(61.84)]

잼미니 프로가 2개야..?

[익명(110.35)]

최근에 업뎃돼서 성능 크게 개선됨

[익명(220.72)]

저 랭킹은 평가기준이 뭐냐

[익명(110.35)]

실제 이용자한테 랜덤으로 LLM 출력 보여주고 선호도 크라우딩소싱한거임 LLM 벤치중에 제일 신뢰성있다고 보면됨

[익명(175.206)]

그러면 환각여부는 평가 못 하고, 자연스러움이나 설명의 친절함? 같은 걸 정성평가 한 지표라고 보면 되나? 괜찮은 지표긴한데 아쉬운 게 많아 보이네

[익명(118.40)]

당연히 환각 여부도 이용자가 고려해서 평가하겠지;;

[익명(gemini9045)]

그럼 울트라는 저거 다 제치고 1위 해볼만 한건가?

[조바이든(hnn12)]

[익명(125.191)]

제미니 프로는 써보면 환각에 성능도 그렇게 좋지 않고 주가방어용 언플에 불과함 구글은 이번에 울트라를 발표했어야 했는데 프로 발표하면서 호들갑 떠는거 보고 실망함 게다가 1년 뒤에 발표된 울트라도 2023년 gpt-4랑 성능에서 별 차이 없으면 구글은 망한거 아닌가

[익명(110.35)]

구글에서 발표한 점수가 아니라 실제 이용자 설문결과임

[익명(gemini9045)]

대체 저기 울트라가 어딨노? 프로가 gpt4 이상이라고

[익명(125.191)]

제미니 프로 써보니까 여전히 gpt 3.5 수준이던데 어떻게 저런 결과가 나왔는지 의아함 그리고 제미니 울트라는 GPT-4 발표 후 1년 뒤에 나온 모델치고 성능이 그렇게 좋지 못한 게 사실이고 결과에 비해 그동안 구글이 과장을 너무 많이 해옴 LLM 기술력은 구글이 OpenAI에 비해 많이 밀리나봄

[익명(104.28)]

어차피 원어민 아닌 김치가 번역기 쓰면서 영어로 돌려도 성능 테스트 제대로 못함

[익명(49.246)]

저거 구글직원 이용해서 평가 조작한거 아님? ㅋㅋㅋ

[익명(110.35)]

무슨 모델인지도 블라.인드라서 주작불가능함 제발 혼자 망상하고 똥글좀 달지마라

[익명(222.108)]

1위랑 2위 저거 비교하는 의미가 있냐?

[익명(dbfuskd528)]

날짜별 빌드에 프리뷰 태그까지 붙여논거 보면 똥줄타는건 oai 같은데 - dc App

[익명(175.120)]

터보 버전의 프리뷰라는 의미임

[익명(110.35)]

걍 업뎃때마다 당연히 성능이 바뀌니까 arena elo 사이트에서도 새로 업뎃하는거임 제발 니맘대로 망상똥글좀 싸지마라 제발

[익명(175.120)]

제미니 프로는 실제로 사용해보면 지능은 GPT-3.7 정도는 됨

[익명(114.202)]

잼민이 프로 좋다고 하는 사람 특 = 잼민이가 헛소리하고 있는지, 환각 여부는 판단 안하고 글의 길이와 친절함만 봄 ㅋㅋ 하나하나 세세하게 파고 들어가는 순간 절반이 헛소리란걸 깨닫고 바로 닫음

[익명(61.97)]

여기 사이트 링크좀 가능할까 ?