[일반] 구글이 타사의 발전에 관심이 많은 듯

[스월빙(wkd48632)]

트랜스포머도

페북: '내가 컨볼루션으로 번역 잘 하는 거 만듬!'

구글: 'ㅇㅇ 집중이 전부임 ㅅㄱ'

하면서 내놨었는데

*트랜스포머 논문 제목: 'Attention is all you need'

아래 제로데이터 퓨샷러닝 정보글 논문에서 보면

GPT의 퓨샷러닝에서 영감을 받았다 하더라고?

이런 거 보면 타사 기술에 관심을 갖고 빠르게 개선책을 내놓는 듯.

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[익명(123.143)]

자동차 업계라니... 좁다 좁아 그릇이 좁아

[스월빙(wkd48632)]

ㅇㅇ

[스월빙(wkd48632)]

근데 왜 굳이 이 글에서 물어보냐 새글 ㄱㄱ

[익명(210.123)]

gpt3 퓨샷러너 논문은 구글뿐만 아니고 사실상 거의 모든 딥러닝 학계에 영향을 줬지

[스월빙(wkd48632)]

ㄹㅇ '이게 된다고?' ㅋㅋ

[스월빙(wkd48632)]

나는 관련 논문을 빠르게 내는 점이 신기해서 글을 쓴거였음 ㅇㅇ

[익명(116.45)]

[스월빙(wkd48632)]

[익명(thor2018)]

내 생각엔 트랜스포머가 all you need는 아닌거 같음. 추가로 인간 뉴런 연결 방식처럼 딥러닝 구조의 유연화도 필요하고 거기다 또 한가지 더 필요한게 있음. 뭐 다 좆문가의 망상일 수도 있지만 ㅋ

[스월빙(wkd48632)]

그 당시 all you need라는 과감한 표현을 쓴데에는 CNN을 전전하며 기울기 소실과 선택적 망각 사이를 줄타기해보려던 페북에게 '그거 다 필요없음 ㅇㅇ'이라고 말하는 뉘앙스가 강했다 생각함. 어디까지나 개인적으로

[스월빙(wkd48632)]

1요: 인공지능이 *기억하는데에는* 어텐션으로 충분함

[익명(thor2018)]

attention이 기억을 위한 거라고? 아닌거 같은데? 뉴런으로 들어가는 입력중에 필요없는건 거른다는 의미 아닌가? 사과 갯수가 몇개냐 하는 질문에 답하는 거라면, 굳이 사과 모양에 대한 세세한 정보는 필요없으니 다 무시하고 사과를 구분지어서 몇개인지에 대해서만 어텐션해서 보겠다 이거처럼. 어디에 집중하는게 좋은가 이걸 정해주는게 어텐션인거 같은데. 이건 질문(입력)에 따라 어디에 어텐션 할지가 달라야 하니까 어디에 어텐션할지도 학습을 통해서 배워야 하고.

[스월빙(wkd48632)]

트랜스포머가 RNN - LSTM 다음 테크로 나온 거 아니냐