5나노 공정까지 공정 미세화에 따라 비용도 비례하여 증가됨.
이에 따라 공정이 계속 미세화 되는데 트렌지스터 하나 뽑는데 비용은 차이가 없음.
공정 미세화를 하려는 목적이 같은 면적에 더 많은 트렌지스터 박아넣으려는건데
같은 크기에 500개 넣는거랑 1000개 넣는거랑 그동안은 공정 미세화를 통해서 같은 비용으로 넣을 수 있었음.
근데 지금은 같은 크기에 5000개 넣는거랑 10000개 넣는거랑 가격 차이가 2배인거임.
그것을 그나마 버티려고 스레드 다중화, 병렬연산 강화 같은 방식으로 조금 커버했지만 기존에 2년에 2배 법칙에서 벗어나서 같은 가격이라면 4년에 2배 정도임.
Scale is all you need 라지만 이렇게 공정 가격 비싸지면 Scale 키우는데도 한계가 생김.
첨언)물론 하드웨어 한계가 온다고 해도 레커의 S자 곡선 발전 형태를 따른다면 한번의 겨울 이후의 새로운 혁신이 AGI를 감당할 수 있는 하드웨어 생산이 될 수 있음.
팩트) AGI를 위한 하드웨어가 비싸질 순 있어도 한계는 아니다
agi에 필요한 규모가 100조라는데 내가 봤을땐 1조면 충분함 gpt3의 천억개도 다른 동물의 천억개 시냅스 대비 우월함 - dc App
처음 듣는데 어디서 본거임?
암 그라제 방구석 특붕이 말이 맞제
학계에서 공식적으로 인정된 바가 없는데 혼자 느끼고 혼자 결단 내려버리네 ㅋㅋㅋ 진짜 클라스 오진다
시발
일반 모래로 잘 가공할 수 있으면 좋을텐데..
칩 가격보다 슈퍼컴퓨터 가동하는데 필요한 전기세가 훨씬 많이 듬