근데좀 의문인게

HLE 벤치에 대해 알아보니까 수학부터 철학까지해서 MMLU의 더 폭넓고 복잡한 버전인거 같음
2500개의 질문으로 구성된 공개 버전이 있고 과적합 테스트용으로 비공개 버전이 있네

예시 질문: [ 2 ]

갑각목(Apodiformes)에 속하는 벌새는 특이하게도 양쪽에 한 쌍의 타원형 뼈, 즉 종자골을 가지고 있습니다. 종자골은 미하근(m. depressor caudae) 부착부의 확장된 십자형 건막의 미측 부분에 박혀 있습니다. 이 종자골은 몇 개의 쌍으로 된 힘줄을 지탱하고 있을까요? 숫자를 적어 답하세요.


이런식이던데 이런 질문 2500개를 전부 답할 수 있다면 과연 agi에 그만큼 가까워지는가?임 이게 정말 큰 의미가 있는가 하는거

그리고 만약 이런 질문에 순수 습득한 지식과 추론으로 답할 수 있는 초지능이면 왜 실용적인 작문이나 코딩 능력은 또 상대적으로 떨어질 수 있는가임

개인적으로 예전부터 생각한거지만 스케일링으로 특정 벤치의 성능향상은 게속해서 이룰 수 있다고봄 그만큼 특정 유효한 데이터와 컴퓨팅 때려 박으면 성능이 오를 수 밖에 없겠지
하지만 스케일링만해서 범용성과 새로운 창발을 하는 혁신적인 agi가 된다라고 한다면 이건 안된다고 생각했음

만약 앞으로 나올 제미니 3.0이나 gpt5도 이 흐름이랑 비슷한느낌이면 내 생각이 맞을거 같음
남은건 스캐폴딩이나 에이전트같은 툴을 이용해서 얼마나 자동화 폭을 넓힐수 있는가같음 이런방향으로 점진적으로 인간 노동 지분을 줄여나갈거같음