스케일링이 깨졌니 어쩌니


변수 다 고려하고, 지수적으로 스케일링 한건 맞는지? 같은 것도 다 고려해야 하는데


스케일링이 말 그대로 10배, 100배, 1000배 수준으로 가는 와중에 고작 2배 3배 올려놓고 스케일링이다 하는 거면 말도 안되는거임


중간에 병목 문제가 있을 순 있는데 그건 병목이 문제인거라 병목현상을 해결하는게 해답이지 스케일링이 문제라는 건 원인 파악이 잘못된거임


예를 들어 과도한 암기 경향이 생긴다? 이건 스케일이 애매하게 부족해서 '암기'와 '추론'이 섞이는 경우고,


진짜로 싹 다 암기할 정도로 스케일이 커지면 무조건 더 좋지


현실적으로 그정도로 스케일 키우긴 '지금은 힘드니까' 최적화 관점에서 쓴 논문이지 스케일 무용론을 증명한 논문이 아님