[일반] 트랜스포머 질문: 입력 여러개 중 집중 뭘로 할지는

[익명(thor2018)]

어케 아는 거임?

그거 집중 어느걸로 할지도 딥러닝 돌려서 선택하는 거임?

[익명(49.172)]

무엇을 집중할지도 학습시킴

[익명(thor2018)]

오 괜찮다. 그럼 내가 그동안 생각했던 딥러닝 방식에 상당히 근접했네. 2025년 agi 거의 나올듯 ㅇㅇ

[익명(thor2018)]

근데 그 집중 머로 할지 선택하는 딥러닝이 gan에서 2개 돌리는 거처럼 (물론 여기선 gan에서처럼 서로 싸우는 방식은 아니고 걍 형태만) 따로 독립된 형태로 있었으면 좋겠는데 그럼 내가 구상하던 딥러닝 방식과 더 가까움.

[익명(39.7)]

트랜스포머 내부의 어텐션 층에서 행렬로 표현됨