데이터가 많을 수록 gpu사용량이 많이 필요한건 맞는데 gpu많이 사용한다고 데이터가 좋아진다거나 모델 성능이 좋아지는건 아님.. 그록 ㅂ아 모델 새로 만들던지 한국 노동자 주 2교대 돌려서 성능올려라 그게 답이다 - dc official App
이거 맞음 트랜스포머 아키텍처 나오기 전에 직접 RNN으로 개지랄하다가 LSTM으로 넘어가고 트랜스포머로 넘어가고 이런 짓 해본 사람은 단방에 매커니즘에 대한 한계가 어떤 것인지 알 것임
GPU는 걍 학습 속도 차이 아니냐 아마
GPU 메모리 크기에 따라 모델 파라미터 수를 키울 수 있으니 스케일링 법칙이 유효한 이상 틀린 말은 아님