실제로 딥러닝에서 fp8 이상은 트레이닝 단계 빼곤
추론 시 가성비가 구리기에 거의 안쓴다고 알고있어서 1:1 비교가 별 의미없긴 하다만
추론 시 가성비가 구리기에 거의 안쓴다고 알고있어서 1:1 비교가 별 의미없긴 하다만
ai 가속기가 아닌 일반적인 범용 슈퍼컴에서 말하는 fp32를 기준으로 잡으면
1제타라 해도 실제로 환산하면 200엑사 정도라 생각하면됨
뭐 이정도만 해도 그 전성비까지 고려하면 ㅈㄴ 쩌는건 맞긴하지..
레커는 fp32 기준 10엑사플롭스 정도면 뇌 에뮬레이션이 충분히 가능한 연산량이라 예측했고,
지금 인공신경망 기술은 굳이 뇌를 모방하지 않아도 스케일링으로 돌파구가 계속 보이고 있으니 앞으로 구글의 행보가 기대됨.
구글 vs 마소라...
진짜 치타였던거임..!!
1엑사 돌파한 게 불과 2년전임 그나마도 ai전용은 아니었는 데 H100보급되면서 빅테크들 다들 갖추고 있으니까 이제 시작이지