[📪정보] 딥마인드가 생각한 GPT가 가능한 이유

[익명(zij5y2ptrw2t)]

논문은 댓글 참고

GPT 나 플라밍고를 대규모 트랜스포머 언어 모델이라 함.

그런 모델들 보면 단어 바꾸기 놀이같은 골때리는 일도 가능함

딥마인드가 왜 그런가 생각을 해봤는데

1. 단어가 몰아서 나온다 (원문: bursty)

언어는 문맥을 가지고 문맥 안에서는 나오는 단어가 집중되는 경향이 있음.

특온갤에서 야구 얘기는 안 하잖아

몰아서 나오는 경향이 있으니 단어 사이의 그룹을 만드는게 가능하고 그게 의미에 대한 이해로 이어진다는거임

('의미에 대한 이해'는 파인튜닝이 잘 되는 것을 비유적으로 표현한 말임.)

2. 지피안 분포를 따른다

지프의 법칙이라는 이름으로 잘 알려져있을 듯

(궁금하면 검색 ㄱ)

롱테일이라고도 하는데, 이 법칙이 의미하는건

평소에는 거의 안 쓰이다 특정 문맥에서만 가끔 한 번씩 쓰이는 이정표같은 단어가 아주 많이 있다는거임.

이게 의미를 이해하는데 도움을 준다

3. 단어-의미 연결관계가 여러개일 수 있다

같은 단어가 여러 의미를 갖기도 하고 (다의어)

여러 단어가 같은 의미를 갖기도 하는데 (동의어)

이게 데이터 사이의 연결고리가 되어서 데이터를 잘 섞이게 반죽해준다는(??) 거임

데이터 만들어서 실험해봤는데 맞는 것 같더래

똥글만 싸기 부끄러워서 올림

[익명(zij5y2ptrw2t)]

논문:
https://arxiv.org/abs/2205.05055

[익명(zij5y2ptrw2t)]

연관 트윗:
https://mobile.twitter.com/deepmind/status/1527247782658056193

[레몬샤베트(yabu1020)]

고마워 - dc App

[익명(zij5y2ptrw2t)]

어느 포인트에서 고마운건지는 잘 모르겠지만 고맙다니 고마워

[레몬샤베트(yabu1020)]

[익명(58.124)]

친칠라나 플라밍고 대화 수준 보면 니가 말한 그런 메커니즘이 있으니까 가능한거지 그냥 통계적으로 뿜어내는 단어들로는 결코 할 수 없는 대답 같더라.

[익명(zij5y2ptrw2t)]

ㄹㅇ 뭔가 알고 말하는 느낌임

[익명(amazonia)]

인간도?

[ㅇㅇㅇ(14.38)]

[익명(222.101)]

고맙다 뭐가 고마운진 몰라도