[일반] 나노gpt 세계기록 <- 왤케 잘줄어드냐 ㄷㄷㄷ

[귀가있는로봇의..(function8845)]

개빠르네

[익명(jnlf8576)]

여기 레포 ㄹㅇ 재밌더라 실험적인 거 많이하고

[귀가있는로봇의노래(function8845)]

별 기묘한 구조로 시간 줄이던데 ㅋㅋ 이런거 100개 발견하면 1개는 큰 모델에도 도움되겠지 ㅋㅋ

[Azurespace(azurespace)]

이거 보고있으면 아이디어 기발하다 싶은거도 많고 커널 로우레벨에서 최적화하는거 ㄹㅇ 고수들 많음 ㅋㅋㅋ

[익명(sguyff)]

@Azurespace 커널 로우레벨 건드리려면 C ㅈ고수들인건가?

[Azurespace(azurespace)]

@ㅇㅇ GPU 커널 최적화에서 C/C++는 가장 쉬운 부분이고.. GPU의 내부 구조와 Collective Communication과 Model Optimizer(Adam, Muon)을 다 꿰고 있어야 함.

[익명(sguyff)]

@Azurespace 오우 ㄷㄷㄷ 저 정도 레벨들은 수학부터 컴퓨터 구조도 다 꿰고있어야하는구나 ㄹㅇ 종합인재네 알려줘서 ㄱㅅㄱㅅ

[익명(sguyff)]

초소형 gpt 만들기 같은건가

[귀가있는로봇의노래(function8845)]

정해진 사양의 서버에서 특정 크기의 gpt 가장 빠르게 학습시키기 챌린지 같은거야

[익명(sguyff)]

@귀가있는로봇의노래 오 ㄱㅅㄱㅅ