[📪정보] Transformer는 왜이렇게 좋을까? 일반인도 이해가능한 설명 해드림

[익명(175.113)]

최대한 비전공자 일반인도 이해하게 쉽게 썼음.

RNN와 Transformer는 모두 시계열 데이터를 처리하는 AI모델인데, 시계열 데이터는 텍스트 데이터나 주식 시세처럼 시간 순서(또는 그냥 순서)가 있는 데이터임. 기존에는 RNN이 주로 쓰였지만 최근 Transformer가 완전히 대체하였는데 그 이유를 알아보고자 함.

우선 모든 AI모델은 근본적으로 "함수"임. 그리고 함수는 초등학교에서처럼 블록에 숫자가 입력되어서 다시 숫자가 출력되는 그림으로 쉽게 이해할 수 있음.

여기서는 아래와 같이 숫자쌍을 입력으로 넣고 숫자쌍을 출력으로 내보내는 블록을 생각할 것임. 이런 숫자쌍은 어떤 단어를 표현할 수도 있고, 기억을 표현할 수도 있고... 나아가 모든 "데이터"들이 숫자 쌍의 형태로 표현된다고 생각해도 됨. 따라서 이제부터 이런 숫자쌍들을 그냥 데이터라고 부르겠음. (참고로 아래와 같은 블록의 내부는 숫자들 사이 덧셈 곱셈 등으로 이루어져 있지만 여기서는 그닥

중요하진 않음.)

이제 주목할 것은, 입출력을 나타내는 화살표가 어디에서 어디로 연결되어 있고, 데이터들이 어느 순서로 블록에 들어가냐는 거임.

이걸 좀 다르게 말하면 "데이터가 어떻게 흐르는지"를 파악하는 것이 AI모델을 직관적으로 이해하는데 매우 중요함.

이제 최신 Transformer가 기존의 Rnn과 구조적으로 어떻게 다른지 알아볼 것임. 우선 Transformer의 대략적인 구조는 아래와 같음.

원 안의 숫자는 데이터가 입력되는 순서임. 순서가 같으면 동시에 입력된다고 보면 됨. 약간 주의할 것은 블록 번호가 같으면 같은 함수임. 즉, 같은 블록에 같은 입력이 들어가면 같은 출력을 내보냄.

그리고 여기서 가로방향은 데이터의 시간대를 나타냄. 정확히 말하면 왼쪽 세로줄일수록 더 과거이고, 같은 세로줄은 동일한 시간대임.

맨 아래 입력 데이터들이 (언어 모델이면 단어) 주어지면, 화살표 방향으로 데이터가 흐르는걸 관찰할 수 있음. 중요한 것은, 어떤 가로줄에서 어떤 블럭 바로 아래에 있는 데이터 뿐 아니라 블럭 왼쪽, 즉 과거의 모든 데이터가 그 블럭에 동시에 입력된다는 것임. 이렇게 모든 과거 데이터가 동시에 그 블럭에 입력되는 메커니즘을 바로 Attention이라고 함.

이번에는 RNN의 구조임.

RNN이 Transformer와 구조적으로 무슨 차이가 있는지 느껴짐? 우선 "한 블럭에서 바로 왼쪽의 데이터만 동시에 입력으로 들어간다." 라는 것이 가장 큰 차이점임. RNN은 Transformer와 달리 과거의 모든 데이터가 동시에 입력에 들어가지 않기 때문에 더 과거에 있는 데이터는 참고하기 힘듬. 오른쪽 방향 화살표 여러개로 연결은 되어있지만, 화살표 단 하나로 연결되어있지는 않는데다 블럭들을 거치기 때문에 정보의 손실이 일어남. 결과적으로 먼 과거의 기억은 제대로 참고하기 힘들어서 기억 능력이 부족하게 됨.

여기서 끝이 아님. 아까 말했듯이 데이터가 들어가는 순서도 중요함. 화살표 순서를 잘 보면 Transformer는 가로줄마다 데이터가 동시에 병렬적으로 들어감. 다시말해 여러 시간대의 데이터가 동시에 처리됨. 반면 RNN은 무조건 한 블럭을 먼저 처리하고 그 후에 다음 블럭, 다음 블럭을 처리하고 그다음...이런식으로 순차적으로 데이터가 처리됨. 가령 위 그림에 계산 횟수만 봐도 2번 vs 6번임을 알 수 있음. RNN의 경우 그림에서 보듯이 과거 블럭의 출력이 다시 입력으로 들어가기 때문에 병렬적으로 처리할래야 할 수가 없음. Transformer처럼 여러 시간대의 데이터를 병렬적으로 처리할 경우 효율이 압도적으로 좋음. 특히 요즘 컴퓨터는 병렬 계산을 잘 지원하기 때문에 더더욱 그러함.

Transformer의 차별화된 장점을 다시 정리하면

1) 먼 과거의 데이터도 입력에 동시에 넣을 수 있다.

2) 모든 시간대의 데이터를 병렬적으로 처리할 수 있다.

두가지임. 그리고 이 두 장점으로 Transformer는 기존의 RNN을 완전히 대체했음.

번외로 이미지를 처리하는 CNN도 위와같은 방식으로 표현할 수 있음. (다만 가로방향이 시간대에 해당하지는 않음)

만약 내가 알던 CNN이랑 다른데? 라고 생각한다면, 입력 숫자쌍 하나를 하나의 2D 픽셀에 대응시키면 이해가 될거임.

전역적으로 데이터를 참고하는 Transformer와 달리 바로 근처의 정보만 참고하는 CNN의 특징(지역성)을 알 수 있음.

그리고 여기서 조금 응용력이 있는 사람이면 위와 같은 방식으로 "비록 시계열은 아니지만, 이미지에도 Transformer를 적용할 수 있겠는데?" 라고 생각할 수 있음.

이런 아이디어로 CNN과 달리 화살표를 특정 이미지 픽셀 근처 뿐 아니라 모든 곳에 연결한다면, 그것이 바로 이미지 처리에 쓰이는 Vision Transformer임.

반대로 시계열 데이터 처리에 쓰이는 Transformer에, CNN의 아이디어를 써서 어느정도 지역성을 추가할 수도 있음.

사실 이쯤 되면 Transformer라는 것 자체가 어떤 특정한 모델 구조에 그치는게 아니라, 거의 CNN만큼이나 범용적인 아이디어를 바탕으로 하고 있다는 것을 알 수 있음.

[특특이(ehdehddlfks)]

오 이해 잘되게 썻네 ㅆㅅㅌㅊ 개추

[익명(27agi2asi100)]

[익명(121.130)]

개 추

[익명(175.204)]

과거의 데이터일수록 가중치를 작게 줘서 처리하는거임..?

[익명(175.113)]

어떤 가중치를 말하는건지 잘 모르겠음

[익명(119.204)]

2번 짤에서 (1,3,7,9) 에서 나오는 초록색 화살표가 (1,6,0,1) 에서 나오는 초록색 화살표보다 가중치 값이 작냐는 말임

[익명(175.113)]

화살표는 그냥 말그대로 입출력임. 저 그림에서는 가중치라는게 없음.

[익명(175.113)]

사실 위 그림 말고 블록의 내부 계산방식을 보면 가져온 데이터들에 가중치를 주는 부분이 있는건 맞음. 더 자세히 알고싶으면 논문을 읽는것을 추천함. Softmax(QK) 부분이 가중치를 주는 부분임.

[monomer(robestan)]

읽어도 잘몰라서 그런데 시계열 데이터를 저장하고 나중에 그 시계열 데이터의 일부가 나오면 나머지 일부도 불러내는 그런거 맞음? - dc App

[익명(175.113)]

어느 부분이 이해가 안됨

[ㅇㅇㅇ(14.38)]

[ㅇㅇ 1(59.9)]

그럼 트랜스포머 모델은 어느정도 과거의 데이터를 혹은 어느정도 인접한 데이터를 병렬로 처리할지 임의적으로 정할 수 있다는 건가