예전?에는 CNN, RNN 등 다양한 구조를 사용해서
칩을 만드는 입장에서 하나의 구조에 최적화하는 칩을 만드는건 여러모로 망설일수밖에 없었는데
트랜스포머가 모든 데이터에 효과적임이 증명되면서 엔비디아 입장에서도 부담없이 트랜스포머 학습, 사용에 포커스 할수있게되었지
아직 대세가 결정되지 않았으면 H100이 10배의 퀀텀 점프는 고사하고 2~3배에서 찌질거리고 있었을걸
칩을 만드는 입장에서 하나의 구조에 최적화하는 칩을 만드는건 여러모로 망설일수밖에 없었는데
트랜스포머가 모든 데이터에 효과적임이 증명되면서 엔비디아 입장에서도 부담없이 트랜스포머 학습, 사용에 포커스 할수있게되었지
아직 대세가 결정되지 않았으면 H100이 10배의 퀀텀 점프는 고사하고 2~3배에서 찌질거리고 있었을걸
Transformer 개발자에게 노벨상을!
해당 댓글은 삭제되었습니다.
attention mechanism은 Dzmitry Bahdanau가 착안했고 ilya sutskever는 다음 단언맞추기 학습법 착안
논문 반대로 갖고왔는데 댓글 수정 안 돼서 삭제함 위 대댓글 ㄱㅅㄱㅅ - dc App