4.5도 그렇고 opus4도 그렇고


글쓰기나 개방적사고 등 문과적 역량은 패러미터 수 자체가 중요하다는게 반복적으로 입증되고 있음



반대로 STEM이나 코딩을 잘하기 위해서는 thinking이 다른 방향으로 새지 않도록 증류+강화학습+병렬추론(데이터센터속 퍼거 모임)이 중요




이 두 가지 합치면 AGI를 만들기 위한 길은 다 나왔다고 보임




지금부터는 진짜 하드웨어(칩)이 발전의 병목이고, 그 다음은 패러미터를 채울 데이터를 어떻게 만들것인가? 합성데이터는 초대형 모델에도 여전히 유용한가



어제 클로드에서 사전학습이 끝나지 않았다고 말한 것도 이 맥락이지 않을까




GB300, TPU v7등 칩 세대교체가 안정화되는 올해 말, 내년 이후에 아주 기대가 큼


그리고 월드 모델이 만들어내는 합성데이터 역시...