[📪정보] 트랜스포머의 layer를 1000층으로 확장한 DeepNet

[특갤용(singularity45)]

https://arxiv.org/abs/2203.00555

[익명(211.220)]

[익명(120.142)]

[익명(218.235)]

이거 학습 어케 할라그러냐 ㄷㄷ

[익명(39.117)]

이게 뭔지 설명해줄 멋쟁이 특붕쿤?

[익명(218.235)]

데헷 >- 일단 간단히 설명하자면 위에 그래프에서 보듯이 층을 무자비하게 쌓았다는거임. GPT, Gopher같은 최신 모델도 200층을 안 넘는데 얘는 1000층을 쌓았다는거지. 층을 많이 쌓으면 할 수 있는 일은 많아지는데, 배우는 시간이 매우매우매우 많이 늘어나. 그래서 이걸 어떻게 해결했는지는 논문을 읽어볼 예정이야. 간단하게 요약하자면: 마이크로소프트가 무식하게 층을 많이 쌓은 GPT를 만들었고, 어쨌든 해결할 방법을 찾은 것 같다.

[익명(39.117)]

멋쟁이 특붕쿤! 고맙다

[익명(218.235)]

여기서 주목해야 할 점은 마이크로소프트라는거야! 바로 AI 전용 플랫폼 '싱귤러리티'를 만들기로 한 기업이지! 이 논문을 통해서 '일단 무식하게 쌓고, 성능은 우리 싱귤러리티가 받쳐줄거임' 하는 뉘앙스도 읽을 수 있어.

[익명(218.235)]

참고: LN은 Layer Norm의 약자다.

[익명(59.19)]

2025는 팩트라니깐

[익명(116.33)]

온다

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[익명(218.235)]

ㄹㅇ ㅋㅋㅋㅋㅋㅋㅋ

[익명(1.239)]

[익명(168.188)]

시간도 문제고 기울기 전파는 되나? ㅎㄷㄷ - dc App

[특이점dd(wornr4757)]

저게 되면 agi랑 관련있음?

[익명(218.235)]

층을 무식하게 쌓아봤다는 의미가 일단 크고, 그걸 안정화시킬 수 있는 방법을 찾았다니까 그것도 많은 도움이 되겠지. 앞으로 컴퓨팅 능력이 늘어날수록 크게 빛을 보게 될 성과라고 생각함.

[익명(121.161)]

STACK. MORE.

[익명(218.235)]

ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 아ㅋㅋ 일단 쌓으라고 ㅋㅋㅋ

[익명(125.191)]

[supersonic2011(fa6396)]

[익명(119.67)]

[ㅇㅇㅇ(14.38)]

[익명(59.14)]

이거 좀 오져보이네

[익명(hyeongim264)]

[비스뀌(ty66kill)]

풀발 유발짤

[익명(jjanggaedie)]