[📪정보] 노베를 위한 트랜스포머

[스월빙(wkd48632)]

안녕, 나는 딥러닝이야

딥러닝은 'A일때의 B' 꼴로 설명되는 건 다 배울 수 있음

흐릴 때의 비 올 확률이라던가

새벽 두 시일때의 깨어있는 특붕이의 수라던가

근데 딥러닝만으로 부족해서 줄을 하나 닮.

이걸 순환신경망(RNN)이라고 함. 작동시키면 어떻게 되냐

이런 모습이 됨 ㅇㅇ

그래서 까만 선이 뭐냐고?

까만 선은 뭐했지 선임

(입력과 전에 뭐했지) 일 때의 (출력과 지금 뭐했지)

역시 학습할 수 있다

결론적으로 이건 '뭐했더라 체인'이 되는거지.

이런 모습은 여기저기 써먹기 좋음

이건 시퀀스 투 시퀀스(seq2seq)라는 건데

빨강에 지금 주가, 파랑이 예상주가면

실시간 주가 예측 인공지능이 되는거고

이건 시퀀스 투 벡터(seq2vec)라는건데

빨강에 분석할 데이터, 파랑이 결과면

데이터 요약 인공지능이 되는거고

이건 인코더 - 디코더인데

빨강에 영어 파랑에 한국어면

번역 인공지능이 되는거임 ㅇㅇ

이제 트랜스포머 가보자

안녕, 나는 어텐션이야

이놈도 딥러닝은 딥러닝인데

(입력과 어디에 집중?) 일 때의 (강화된 입력) 을 배우는 놈임

쉽게 말해서 자동으로 개선되는 입력 강화기

암튼 이거 쓰면 중요한 부분이 집중됨

그리고 이게 트랜스포머임

그림의 '위치'는 상수인데

위치에 따른 집중을 하기위해 넣어줌

해석을 달자면

이렇게 되는거지

집중해서 전에 뭐했는지 보고

집중해서 이게 뭔지 보고 학습하고

집중해서 전에 뭐했는지랑 이게 뭔지를 보고 학습해서

답을 내는거임

게슈탈트 붕괴? ㅇㅇ 그래서 논문 제목이

'집중이 필요한 전부다' 인거지

이상임.

오류지적은 언제나 환영

[익명(49.166)]

정성추

[스월빙(wkd48632)]

ㄱㅅ

[스월빙(wkd48632)]

이해가 잘된다/ 어디가 안된다 대댓글로 ㄱ

[o o(112.186)]

뭔가 이해될듯한데 저기 횡으로 된 신경망들은 여러개를 붙였다는 뜻입니까 아니면 신경망은 하나고 오른쪽으로 시간의 흐름을 의미하는건가요? 다시 말해 빨간 입력선들이 시간 순으로 들어가는건지 동시에 들어가는건지 모르겠네요

[익명(223.38)]

궁굼했던게 한방에 이해갔습니다! 감사합니다^^~

[스월빙(wkd48632)]

오오 좋아

[ez(ezreal3)]

와우 좋은 글 올려주셔서 감사합니다! 설명을 정말 쉽게 잘해주시네용!! 그림도 깔끔하구요^^ 개추 두 개 드리고 싶네요~!!

[ez(ezreal3)]

[스월빙(wkd48632)]

감사합니다!!

[기모타(ehdehddlfks)]

ㄷㄷ 입력 강화기는 대체 어캐 만들었노

[스월빙(wkd48632)]

???: 되더라고

[익명(thor2018)]

설명 감사

[스월빙(wkd48632)]

ㅇㅇ

[익명(hyeongim264)]

여튼 개추야

[스월빙(wkd48632)]

아직 부족한건가...

[익명(49.164)]

내가 배우기론 seq2seq가 여기서 설명한 encoder decoder모델의 꼴을 하고 있고 그래서 발생하는 병목(encoder에서 decoder로 넘어가는 연결이 하나뿐)을 극복할 수 있는게 트랜스포머 아키텍처인데 틀렸나? - dc App

[스월빙(wkd48632)]

핸즈온 머신러닝(2018, 한빛출판사) 그림 15-4기준으로 설명하기는 했는데 원론적인 설명인 것 같기도 함 ㅇㅇ

[스월빙(wkd48632)]

그 넘어갈 때 어텐션을 통해 집중하게 해주는게 트랜스포머 맞지

[스월빙(wkd48632)]

그리고 seq2seq는 데이터 시리즈 - 데이터 시리즈면 모두 성립할 수 있는 말인데 이 책이 협의로서의 정의를 채택한 것 같기는 함. 나도 seq2seq을 그렇게 배움 ㅇㅇ. 인코더-디코더는 AE.

[익명(rechido)]

이거 맞긴 한데 이 글은 트랜스포머 작동원리 소개글이고 질문한건 결과적으로 트랜스포머의 장점 중 하나임 - dc App

[익명(rechido)]

bert는 encoder only model이고 gpt는 decoder only model이라 encoder-decoder구조 특유의 병목현상이 없음 - dc App

[익명(rechido)]

그 외에 트랜스포머가 rnn기반 구조 대비 갖는 장점으론 1. 시계열구조가 아니라 병렬처리에 유리하다 2. 경사소실 문제가 덜 발생한다 등이 있음 - dc App

[이 댓글은 게시물 작성자가 삭제하였습니다.]

이 댓글은 게시물 작성자가 삭제하였습니다.

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[스월빙(wkd48632)]

아무런 베이스 없이 읽어도 괜찮은 글을 목표로 했으니까 거부감 가질 필요 없어

[익명(223.63)]

[익명(221.148)]

나무위키 트랜스포머 문서 타고옴 깔끔하게 정리 잘했네

[Sesiwo(visiopo44)]

집중이 필요한건 전부다가 아니고 필요한건 어텐션 뿐이다 아님? attention is all you need 인데. 원래rnn을 보조하는 용도로 나온 언 어텐션 메커니즘인데 그것만써서 모델을만들어서 붙인 이름일건데 - dc App

[Astera(onlyforsingularity)]

어텐션 추

[♨2.97™(roidz)]

[옷치도치(2gf5ro59rhya)]

ㅋㅋㅋㅋㅋㅋㅋㅋㅋ

[hoon050824(hoon050824)]

와 진짜 존나 감사합니다.... 순환신경망이랑 자연어 처리 배울 때 성적 박살났었는데 이제야 이해되네ㅠㅠ

[하무열(justin121810)]

[하무열(justin121810)]

트랜스포머 나온지도 나름 꽤 지났었네

[특갤러18364(110.14)]

랩뷰 보는거 같다

[익명(175.113)]

어텐션은 그냥 어텐션 알고리즘을 말하는거지 한국어 집중이랑 별 상관 없음; 명칭에 의미부여할 필요가 없음

[익명(175.113)]

굳이 따지면 softmax부분때문에 어텐션이라 불리는건데 softmax 안쓰는 변형 어텐션도 있고 저런식으로 설명하는건 굉장히 부적절함

[익명(14.7)]

레드스틴 회로같노

[메파치(spyxfamily)]

도출 결론이 곧 데이터라는거네

[ㅁㄴㅁㄴ(legiseong)]

하드웨어적인 관점에서 보자면 저 수많은 신경망을 한꺼번에 돌려야하기 때문에 하나의 노드를 초고속으로 돌릴 수 있는 CPU보단 수많은 노드로 한번에 처리해낼 수 있는 Gpu가 필요한거임 - dc App

[ㅁㄴㅁㄴ(legiseong)]

그리고 뭐했더라/뭐했지를 기록하는게 DRAM인거고, 요즘 GPU는1초당 몇억번씩 뭔갈 해대니까 GDDR의 성능(HBM)이 좋아져야만 하는거임 - dc App

[ㅁㄴㅁㄴ(legiseong)]

RAM의 세대 업그레이드는 스티커 메모지를 ->노트로 ->노트북으로 빠르게 많이 지우고 쓴다는걸 생각하면 됨 - dc App

[ㅁㄴㅁㄴ(legiseong)]

SSD가 똥값이 된 이유는 저기서 SSD는 입력 빅데이터와 '최종적으로 나는 뭘했음' 하는 값만 저장하니까 딥러닝 서버에 어마어마한 용량이 필요없어져서 그럼 물론 일반인 기준에선 어마어마한 용량이지만.. 귀엽게 잘쓴글 개추 - dc App

[돌리둘리(926lwld2xd5t)]

꼭 게이들 의식 흐름같네. 이제 머함? - dc App

[익명(210.205)]

신기하다 이정도면 그냥 뇌를 전기 신호로 만든거 아니야?