[📪정보] 구글에서 만든 FACTS 벤치마크 스위트(지식,검색근거,멀티모달 평가)

[천상열차(annoy6122)]

링크: https://deepmind.google/blog/facts-benchmark-suite-systematically-evaluating-the-factuality-of-large-language-models/?utm_source=ALL&utm_medium=social&utm_campaign=&utm_content=

[익명(bam9398)]

[천상열차(annoy6122)]

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[천상열차(annoy6122)]

멀티모달과 지식이라는 분야에서 높은 점수를 받은 게 아닐까..뭐,테스트한 모델은 검색을 잘하는 모델일수도 있고요

[EXERCENS(exercens02)]

아 3.5 같은 내부모델 그런 건가?

[천상열차(annoy6122)]

어..3.0이지만 검색을 잘하는 모델일수도?

[익명(compact5711)]

데이터셋 공개되어 있는거 보니까 검색 문제들이 1980년대 뭐시기는 누구일까요 이런거였음

[야하이잇(dignity123)]

제미나이 검색 벤치 성능 좋은건 검색 툴이 무조건 호출되는 상황이라 그럴지도

[천상열차(annoy6122)]

[ㅇㅇ 1(14.4)]

이젠 벤치딸은 의미없는듯.. 실성능을 반영못하네

[천상열차(annoy6122)]

[익명(compact5711)]

문제들이 단답형에, 젬3이 발작하는 최신 주제가 포함 안 되어 있어서 젬3에 유리했던게 아닌지

[야하이잇(dignity123)]

그러네 보통 갤에서 이야기 나오는건 보통 최신 정보 이슈기도 했고

[익명(compact5711)]

@야하이잇 모든 모델을 같은 하네스에 넣어서 다양한 시간대의 사건과, 다양한 주제에 대한 검색을 수행하고 결과를 정리 요약해서 전문가 집단이 채점하는 방식이 되어야 진짜 성능을 반영하는 벤치가 될 듯

[천상열차(annoy6122)]

아,그런걸수도 있겠네요. 의견 감사합니다..!