H100에서 베라루빈으로 더 AI 반도체등이 좋아지면 토큰 비용이 늘어나나요 아니면 줄어드나요? 베라루빈이 더 비싸지만 가성비 차원에서 토큰 비용은 더 떨어지는게 아니었나요?
베라루빈으로 데이타센타를 지은게 지금 거의 없지 않나요? 그리고 중국이 베라루빈의 것을 베끼지 못하게 이제 메타도 완전공개를 하지 않으면 베라루빈으로 돌리는 토큰 비용은 더 줄어들 것 같지 않나요
여기 토론자는 베라루빈등 엄청 비싼 걸 써서 토큰 비용이 더 높아지면서 기업이 경제성이 없어서 AI 성장성에 문제를 제기하는데 이게 맞나요. 성능 좋은 데이타 센타로 넘어갈수록 토큰 비용은 극적으로 줄어드는데 아직은 블랙웰급만 쓰고 있고 이건 중국이 카피한 상태. 루빈급으로 가야 비로서 중국이 카피 못하게 하면서 토큰 비용이 급감해서 기업도 경제성이 생겨서 생산성 향상에 도움이 될 텐데요
결국 지금 토큰 비용이 비싼 이유는 메모리 병목부터 기타 성능이 떨어져서이고 나아가 중국이 추격한 배경도 메타에서 공개할때 너무 쉽게 가중치가 복제할 수 있게 해서였잖아요. 이제 베라루빈부터는 메타도 공개에서 한단계 아래 등급만 공개하고 최신은 공개안하다고 하던데. 나아가 아무튼 베라루빈(거기에 GPU 메모리 등 성능 좋은게 셋트로 묶임)이 데이타 센타의 주류가 되면 토큰 가격을 극적으로 다운되고 그 결과 기업들 입장에서는 토큰 사용을 많이 하면서도 비용은 싸져 충분히 생산성향상을 이끌 수 있다는 것.
챗GPT는 베라루빈에서 아직 토큰 비용의 극적인 즉 1/10하락은 입증되지 못했다고 하는데 이부분은 어떻게 생각해. 토큰 비용이 어느정도 하락할까? 충분히 하락을 해야 이른바 채산성을 맞추고 결과 그게 생산성 즉 5명이 할까 1명이 하는 그런식의 성과가 가능핧텐데.
기술력적으로 1/10로 떨어졌지만 하이퍼스케일러 즉 뎅이타센터 운영하는 측이 그걸 그렇게 쉽게 내리지 않을 수 있고 그러면 AI기업이 토큰비용을 극적으로 줄이기 어렵다는 의미인가요? 그러나 데이타센타 입장에서는 기업이 이걸 써서 채산성이 나와야 이걸 계속쓰고 더 많이 쓸텐데 그러면 P와Q의 관계를 제조정할 유인도 같이 있는데요. 만약 데아타센타의 탐욕으로 P를 안떨어뜨리면 채산성이 별로라고 생각하는 기업들은 토큰을 별로 안쓰게 되거나 제한할테니깐요. 결국 P를 줄여가야 데이타센타도 사는건데
그리고 루빈 이후 파인만 모델도 있고 나아가 토큰 비용을 절감하기 위해 데아타센터에서 추론용 칩도 공급한다고 하지 않나요? 추론형 칩의 공급이 토큰비용에는 어떤 효과를 가져올까요
추론 칩도 기본으로는 엔비디아가 루빈급으로 학습한 버젼을 탑재하고 가는 것 아닌가요? 그런 면에서 상호 윈윈이 되지 않나요. 루빈급 학습한 모델이 근본적인 추론 비용 감소에 더 기여하는 건가요
기존에 2단계 증류를 중국이 가중치 공개로 채간거잖아요. 이걸 중국이 못하게 하고 기존의 모델 개발업자들이 독점하면 확실히 좋아지겠죠. 1단계 루빈 파인만급 학습 2단계 증류 3단계 하이퍼스케일러의 독자적 추론칩. 모두 추론비용 토큰비용을 감소시키는 것
지금까지 나눈 대화를 바탕으로 AI반도체 칩의 발전과 토큰 비용 그리고 기업의 생산성 향상 그리고 이게 다시 데이타센터 이용급증 그리고 반도체 수요급증 즉 선순환의 관점에서 갸별 챕터별로 설명하면서 전체를 이어서 설명해줘
재미나이
챗GPT
댓글 0