[📪정보] 최근에 공개한 OpenAI의 롱컨텍 벤치에 대한 주요 모델 성능

[익명(59.7)]

OpenAI-MRCR은 oai가 GPT-4.1 공개할때 롱 컨텍스트 성능 보여줄려고 오픈소스로 공개한 벤치임

(설명은 여기: https://gall.dcinside.com/mgallery/board/view/?id=thesingularity&no=699668 
OpenAI-MRCR은 컨텍스트 속에 잘 숨겨진 여러 개의 바늘을 찾아 구별하는 모델의 능력을 테스트합니다. 이 평가는 사용자와 어시스턴트 간의 다중 턴 합성 대화로 구성됩니다. 사용자가 특정 주제에 대한 글쓰기를 요청합니다(예: "테이퍼(tapir)에 대한 시를 써줘" 또는 "바위에 대한 블로그 게시물을 써줘"). 그런 다음 컨텍스트 전체에 걸쳐 두 개, 네 개 또는 여덟 개의 동일한 요청을 삽입합니다. 모델은 특정 인스턴스에 해당하는 응답을 검색해야 합니다(예: "테이퍼에 대한 세 번째 시를 줘").)

누가 최근 출시한 o3, o4-mini 까지 포함한 벤치 돌려봤길래 올려봄
(출처: https://x.com/DillonUzar/status/1913821285764764098 )

최근에 꾸준히 올라오던 롱 컨텍스트 벤치는 곧 포화될 느낌이라 앞으로 이걸로 롱 컨텍스트 성능 검증하면 될듯

[익명(121.183)]

젬 황

[ㅇㅇ 1(125.130)]

또 잼황이야

[ㅇㅇ 2(168.126)]

잼황

[야하이잇(dignity123)]

x축이 로그 스케일인거 생각하면 엄청난 성능이네 젬황

[ㅇㅇ 3(175.123)]

쩌엉부웅콰앙퍼퍽

[ㅇㅇ 4(175.215)]

젬황

[ㅇㅇ 5(219.240)]

걍 이거는 유튜브 긴거나 pdf 영어나 한국어로 번역해달라고하면 답나옴ㅋㅋㅋㅋ 제미나이는 진짜 한땀한땀 다해주고 gpt는 존나 대충해줌ㅋ - dc App

[난모르것다(farewell1592)]

[익명(lee0329)]

대젬황 장기기억 미치겠노 ㅋㅋㅋㅋㅋ - dc App