[📪정보] [엔비디아]530B 패러미터의 언어생성모델, Megatron-Turing

[완지네코(hoxmyin)]

https://developer.nvidia.com/blog/using-deepspeed-and-megatron-to-train-megatron-turing-nlg-530b-the-worlds-largest-and-most-powerful-generative-language-model/

마이크로소프트와 엔비디아의 합작

GPT-3 공개 1.5년만에 3배 패러미터 달성

[익명(14.46)]

[익명(14.46)]

근데 언어생성모델이랑 강인공지능이랑 뭔 관계임? 발전속도 보면 미친 수준이긴 한디

[완지네코(hoxmyin)]

강인공지능은 자의식이랑 관련된 철학적 개념이라 뭐라 말하긴 힘든데

[완지네코(hoxmyin)]

일단 자연어 처리라는 인지기능의 큰 축을 인공지능이 해낼 수 있다는 기대가 크지 않을까?

[익명(117.111)]

스케일링 법칙이 계속 작동하고 있다는거 의미있는듯 데이터랑 하드웨어만 계속 발전해도 ai 성능이 계속 좋아진다는 소리니까 어느 임계점을 넘었을때 언어모델이 인간수준 이해력을 가지는거도 가능한거 아님?

[익명(hyeongim264)]

[익명(hyeongim264)]

아까는 구글 제로샷이 gpt3 넘었다더만 이번엔 엔비디아 마소네

[Dopa(roae23)]

[익명(27.117)]

[익명(125.137)]