[일반] 하드웨어 때문에 스케일 못키우고 겨울온다는거 진짜임?

[비닌(yoda1876)]

아니 이럴리 없어 누가 빨리 반박해줘 씨발 싫어 씨발 싫다고

[익명(58.29)]

비트넷 요즘 만이언급되던데 일잔 비트넷은 신뢰하지못하겠고 Llm을 좀더 키우다가 ai가 새방법을 찾게 해줘야할지도

[비닌(yoda1876)]

비트넷이 머임? - dc App

[익명(116.125)]

비트넷이 하드웨어 지체되는 동안 시간벌이는 해주겠지. 재현도 되고 긍정적이긴 하던데

[익명(175.206)]

비트넷....은 AI가 보통 학습을 한다는 건, 데이터를 숫자로 바꾸는 거임. 그 숫자가 GPT3.5는 1750억개 뭐 이렇게 있는거지. 그리고 그 숫자를 학습할때마다 다 일일히 사칙연산해야함. 그래서 그 계산 잘 하는 컴퓨터 부품이 GPU라서 GPU가 인기있는거고. 근데 비트넷은, 이 숫자가 -1,0,1로만 학습해도 잘 작동하더라. 라는 거. 그럼 장점이 뭐냐. 사칙연산도 필요없이 덧셈만으로도 작동하니까 부품이 훨씬 싸질 수 있음. 연산량도 줄거고. 스케일도 키우기 쉽겠지. 다만, 아주 큰 모델에서 작동하냐는 건 다른 이야긴데, 아직 확인 안 됨. 큰 모델이 전세계에 몇개 없으니까 뭐.

[익명(180.65)]

이번에 나온 블랙웰이 효율 두 배라 했던 거 같은데, 스케일은 계속 커지지 않을까요

[비닌(yoda1876)]

스케일도 결국 하드웨어에 부딪히면 한계가 있는거 아님? - dc App

[익명(118.235)]

gpu 특성상 성능인데 병렬로 묶어서 계산이 가능하니까 그만큼 전력과 열배출을 잘할수게 만들면 기존보다 더많이 묶어서 계산하면 지금보단 훨씬 낫겠지

[비닌(yoda1876)]

모르겠고 한계가 올까봐 두렵다 나는.... 솔직히 하드웨어때문에 막힐지 어찌될지는 아무도 모르는거잖아 시발시발 - dc App

[익명(59.28)]

친칠라 스케일링 법칙 자체가 의문이라는데

[익명(220.73)]

에너지 혁명이 필요한데 LLM으로 그게 가능핳지 모르겠음... 너무 모순적인 상황임

[익명(175.206)]

뭐, 진짜 문제면 어쩔 수 없는거니까 포기하면 되는데. 나름 돌파 가능한 지점이. 에너지 생산. 이건 핵융합이 필요하니까 최소 몇년 남았고. 위에 나온 비트넷이나 블랙웰 같은 구조 개선. 이 방식은 실제 초대형모델에서도 적용되는지 확인해야 할텐데 대기업들이 불러다가 실험해보고 있겠지. 그래도 한두달 기다리면 될 듯. 산업 집중. AI가 찐인 것 같아서 산업이 AI 중심으로 개편되면 하드웨어 발전도 더 빨라질 수 있음.