[일반] lmsys << 얜 뭔데 모델 돌려주는거임?

[익명(14.55)]

자원봉사자임?

[익명(218.235)]

API 비용 대주는 스폰서가 많이 붙어있음 AI 기업 스스로도 평가용 혹은 홍보용으로 인간평가 벤치마크 필요해서 알아서 후원하는 회사 많을 걸

[익명(14.55)]

아래 보니까 연구목적이라는데 그런가보네

[익명(121.178)]

그나마 최근에 믿을만한 벤치마크로 돼서 AI 기업들이 걔네들 결과로 홍보 ㅈㄴ 하지 OpenAI나 구글같은 애들이 스폰서 존나 해줌. 그리고 거기서 말하는 질문들 데이터 전부 수집됨. 그중에 20%인가는 오픈소스로 공개되는데 나머지는 지들이 그 데이터가지고 다른 회사에 팔고하겠지. 요즘에는 그 Arena 데이터를 학습 데이터에 포함시켜서 인간 평가에 과적합시킨다고 의심도 많이 받고있음