Bytedance에서 만든 FinSearchComp 벤치마크

70명 이상의 금융 전문가와 협업해서 실제 작업과 유사한 질문들로 만들었다 하고

검색 도구를 이용해서 실시간 주가나 복잡한 과거 수치들 같은 금융 데이터들을 직접 찾아내야 하는 벤치라고 함

점수 보면 사실상 검색 능력 벤치인거 같고 신뢰도 높아 보여서 이런 쪽 중요한 사람들한텐 유의미해 보이는데 딥리서치나 30만원 모델들이 없는게 좀 아쉽네


아래는 데이터 분포