Self Attention은 정보의 확산을 통해 논리적 정합성과 노이즈를 제거하는 필터 역할을 하고, FFN은 정보의 반응을 통해 데이터의 표현을 담당함. 이 둘의 순차적 조합을 통해 시스템 전체의 리아푸노프지수가 0에 수렴을 하고 그 지점에서 창발성이 일어나는 것임. ㅇㅇ
[일반] Transformer가 효과적인 이유는
딥삣삐(115.139)
2026-03-22 18:53
추천 1
댓글 3
다른 게시글
-
석사졸 취업 자리 많음? [1][일반] 베링이(118.235) | 03.22추천 0
-
연구에 gpt pro 쓰는 사람 있어? [2][일반] 익명(118.235) | 03.22추천 0
-
탑다운 대학원 논란 그냥 정리해준다 [4][일반] 딥삣삐(211.115) | 03.20추천 1
-
지잡 컴공생 [2][일반] 딥삣삐(106.101) | 03.19추천 0
-
오늘 회사에서 논문기반으로 코드 개선했어[일반] 익명(223.39) | 03.19추천 0
-
구글 크롬창 너무 자주 닫히는데 나만 그럼?[일반] 딥삣삐(125.182) | 03.18추천 0
-
backpropagation 꼭 알아야 함? [10][일반] 딥삣삐(118.235) | 03.17추천 0
-
절박한데 제발 도와주세요[일반] 딥삣삐(116.44) | 03.17추천 0
-
이 갤은 필요이상으로 영어를 많이쓴 [3][일반] 익명(223.38) | 03.17추천 2
-
솔직히 이론 공부 쫌 한다고 실무 능력이 나아질까? [5][일반] 딥삣삐(223.62) | 03.16추천 0
내 직관적 이해는 Attention → QK로 관련도 파악, softmax로 가중치 만들어서 V에서 정보 가져오기 FFN → 높은 차원으로 펼쳐서 필요한 뉴런만 활성화, 관련 정보 덧붙이고 다시 내리기 이 두 개 번갈아 반복해서 레이어 쌓기
쉽게 이해해보면 어텐션이 토큰간 정보 교환 담당, FFN은 학습된 지식에서 관련 정보 retrieval
어텐션: 토큰 간 정보 교환 MLP: 토큰 내 정보 구체화 이거 반복하면 결국 컨텍스트가 다 담기는 거임