제발 전문가 특붕이가 나타나야함.
딥갤에 구인 공고를 해야하나
아니면 깃갤? 인공갤?
암튼 대충 이해하기로는
왼쪽이 기존, 오른쪽이 블록 RNN
보면 우상향 대각선 기준으로 뒤집은 것 처럼 생겼음.
지금까지 트랜스포머를 쓰는 방법은
입력 (+현재 상태) = 출력 이였고
블록 RNN으로 트랜스포머를 쓰는 방법은
현재 상태 (+입력) = 출력 임.
내가 알기로 GPT는
'xxx 대답해줘' < 이게 입력이고
'네, xxx 입니다' < 이게 출력이고
그 배경지식이 '현재 상태'로 알고 있음.
이걸 블록 RNN에 대입해보면
배경지식 + 'xxx 대답해줘' = 더 나은 배경지식
...
인거냐?
태그 토론임. 타갤에서 전문가 영업해올 특붕이 구함.
전문가 환영
얼른 전문가 구해와
어떤 특붕이가 '파라미터에 깊이를 추가할 수 있는 기술'이라고 추측하던데
논문:
https://arxiv.org/pdf/2203.07852.pdf
5장 Discussion에 의도가 적혀 있는거 같은데