한국어 우물에서 영어 하우스로 물을 다섯 동이 퍼다 날라야함.
제일 처음에 나온 방법은
우물에서 한 동이 퍼서 하우스로 나르고,
다시 우물에 가서 한 동이 퍼서 하우스로 나르고.
이랬음
나르면 나를수록 점점 더 많이 힘들어짐.
여기서 나아진게 트랜스포머인데
다섯 명이 우물에 가서 한 동이씩 푸고,
다섯 명이 한 번에 하우스로 나르는거임.
나르는 양이 늘면 사람도 많이 필요함.
무제한 트랜스포머는 여기서 더 나아져서
살수차를 끌고가서 물 다섯동이를 퍼오는 방법임
어지간하게 양이 늘어도 끄떡 없음.
비유적으로 물동이 수가 늘어날수록 정확해지고 기억력도 좋아지는데
지금까지는 많이 하면 많이 할수록 출혈이 커짐.
그걸 개선했다는 내용임.
지적 환영
- dc official App
곧 인공지능이 기억생김??
? 이미 있음 떡밥으로 굴러다니는 건 (고급)추론능력임 - dc App
아, 물론 그걸 기억이라고 불러야하는지 떡밥도 돌기는 하는데, 그건 그저 용어와 관점의 차이라고 생각함 - dc App
기억생기면 특이점 빨리오는거임??
아무래도 기억을 정복해야 특이점이 오지 않겠냐 - dc App
Gpt4 빨리나와라
순환신경망인 RNN은 신경망이 여러층이면 1층에서 학습해서 예측한 값을 다음 층으로 넘겨줌. 계산한 정보를 다음 층으로 넘겨주는게 순환신경망의 핵심. 근데 각 층을 통해 전파되면서 학습한 값이 왜곡되거나 손실되는 단점이 있었음. 입소문을 타다보면 이상하게 왜곡되는 걸 생각하면 편함
LSTM은 RNN에서 발전한 순환신경망 모델임. 1층에 2층으로만 전달되는게 아니라 1층에서 3층으로 넘겨주기도 하는 방식. 1층에서 2층으로만 전달되는게 아니라 2층 이전의 값도 확인하면서 까먹는 부분을 개선한 신경망임.
GRU는 LSTM을 속도 면에서 더 개선한 모델이라 보면 되고 트랜스포머는 RNN이랑 알고리즘이 다름. rnn이 이전의 값을 넘겨주면서 학습에 영향을 주는 순차적(직렬) 방식이면 트랜스포머는 이걸 병렬화했다고 보면 됨.
1-2-3이 RNN A,B,C,D 트랜스포머 무제한 트랜스포머는 아직 내용을 안 읽어봐서 모르겠는데
대충 설명들어보니 병렬화하면서 잃는 성능(속도)적 단점을 개선했다는 얘기인가..
무한 former 요약:그냥 transformer xl이 사용하는 단기 기억뿐만 아니라 장기 기억을 모델링함,기존에도 장기기억 모뎅링을 한 모델이 있는데 방법이 다름. 그 기존의 방식보다 성능이 좋드라.참고로 개인적으로 이 논문 lstm과 작동방식이 비슷함 물론 장기기억 모델링 방식,단기기억 사용,attention 사용,등 좀 다르지만
무한 former의 장점은 입력길이가 길어져도 계산시간이 1차적으로 증가함.tramsformer는 2차.메모리 사용량은 입력길이 대비 증가가 없음.transformer는 2차적으로 메모리 사용량이 증가함.
한계는 이모델도 기억을 더 잘한다는 거지 안 잊는다는게 아니어서 문장에서 입력전체를 커버하는 transformer xl과 부분만 커버할수 있는 무한 former을 성능 비교하면 tramsformer xl가 이김.물론 문장이 길어지면 무한 former가 압승함.또한 문장이 길어짐에 따라 기억이 소실되서 성능감소가 있음