[📪정보] 트랜스포머가 인공 지능을 인수합니까?

[익명(1.239)]

Will Transformers Take Over Artificial Intelligence? | Quanta Magazine

트랜스포머가 인공 지능을 인수합니까?

신경망이 언어에 접근하는 방식에 혁명을 일으킨 간단한 알고리즘은 이제 비전도 채택하고 있습니다. 거기서 멈추지 않을 수 있습니다.

지역 철물점에 가서 선반에 있는 새로운 종류의 망치를 본다고 상상해 보십시오. 이 망치에 대해 들어본 적이 있을 것입니다. 다른 것보다 더 빠르고 정확하게 두드리는 것입니다. 그리고 지난 몇 년 동안 적어도 대부분의 용도에서 다른 많은 망치를 쓸모없게 만들었습니다. 그리고 더 있습니다! 여기에 부착물, 저기 비틀기 등 몇 가지 조정을 통해 도구는 다른 옵션만큼 빠르고 정확하게 절단할 수 있는 톱으로 바뀝니다. 사실, 도구 개발의 최전선에 있는 일부 전문가들은 이 망치가 모든 도구가 단일 장치로 통합되는 것을 예고할 수 있다고 말합니다.

비슷한 이야기가 인공 지능의 도구들 사이에서 벌어지고 있습니다. 이 다재다능한 새로운 망치는 일종의 인공 신경망(기존 데이터에 대한 교육을 통해 일부 작업을 수행하는 방법을 "학습"하는 노드 네트워크)인 변압기라고 합니다. 원래 언어를 처리하도록 설계되었지만 최근 다른 AI 영역에 영향을 미치기 시작했습니다.

트랜스포머는 2017년 "주의가 필요한 전부"라고 비밀스럽게 선언한 논문에 처음 등장했습니다. AI에 대한 다른 접근 방식에서 시스템은 먼저 입력 데이터의 로컬 패치에 초점을 맞춘 다음 전체를 구축합니다. 예를 들어, 언어 모델에서 가까운 단어는 먼저 함께 그룹화됩니다. 대조적으로, 변환기는 입력 데이터의 모든 요소가 다른 모든 요소에 연결되거나 주의를 기울이도록 프로세스를 실행합니다. 연구자들은 이것을 "자기주의"라고 부릅니다. 이것은 훈련을 시작하자마자 변환기가 전체 데이터 세트의 흔적을 볼 수 있음을 의미합니다.

트랜스포머가 등장하기 전에는 AI 언어 작업의 진행 상황이 다른 영역의 개발에 크게 뒤쳐져 있었습니다. 로웰에 있는 매사추세츠 대학의 컴퓨터 과학자 Anna Rumshisky는 "지난 10여 년 동안 일어난 이 딥 러닝 혁명에서 자연어 처리는 일종의 후발주자였습니다."라고 말했습니다. “그래서 NLP는 어떤 의미에서 컴퓨터 비전 뒤에 있었습니다. 트랜스포머는 그것을 바꿨습니다.”

트랜스포머는 텍스트 분석 및 예측에 중점을 둔 단어 인식과 같은 애플리케이션의 선두주자가 되었습니다. 이로 인해 OpenAI의 GPT-3(Generative Pre-trained Transformer 3)과 같은 도구가 등장했습니다. 이 도구는 수천억 개의 단어를 학습하고 불안정할 정도로 일관된 새 텍스트를 생성합니다.

트랜스포머의 성공으로 AI 군중은 다른 무엇을 할 수 있는지 묻습니다. 연구원들이 변압기가 놀라울 정도로 다재다능함을 입증하고 있다고 보고함에 따라 답은 이제 밝혀지고 있습니다. 이미지 분류와 같은 일부 비전 작업에서 변압기를 사용하는 신경망은 그렇지 않은 신경망보다 더 빠르고 정확해졌습니다. 한 번에 여러 종류의 입력을 처리하거나 작업을 계획하는 것과 같은 다른 AI 영역의 새로운 작업은 변압기가 훨씬 더 많은 것을 처리할 수 있음을 시사합니다.

"트랜스포머는 컴퓨터 비전을 포함하여 머신 러닝의 많은 문제에 걸쳐 정말로 상당히 변혁적인 것 같습니다."라고 뮌헨에 있는 BMW에서 자율 주행 자동차와 관련된 컴퓨터 비전을 연구하는 블라디미르 할타코프(Vladimir Haltakov)가 말했습니다.

불과 10년 전만 해도 AI의 이질적인 하위 분야는 서로 할 말이 거의 없었습니다. 그러나 트랜스포머의 등장은 컨버전스의 가능성을 시사한다. 오스틴에 있는 텍사스 대학의 컴퓨터 과학자 아틀라스 왕은 “트랜스포머는 보편화될 가능성을 암시하기 때문에 인기가 많다고 생각합니다.”라고 말했습니다. "우리는 AI 작업의 전체 스펙트럼에 대해 변압기를 사용하고 싶은 충분한 이유가 있습니다."

언어에서 비전으로

변압기 범위를 확장하기 위한 가장 유망한 단계 중 하나는 "Attention Is All You Need"가 출시된 지 몇 달 만에 시작되었습니다. 당시 Google Brain Berlin의 컴퓨터 과학자인 Alexey Dosovitskiy는 이미지를 처리하고 분류하는 방법을 컴퓨터에 가르치는 데 중점을 둔 AI 하위 분야인 컴퓨터 비전에 대해 연구하고 있었습니다. 이 분야의 다른 거의 모든 사람들과 마찬가지로 그는 수년 동안 딥 러닝, 특히 컴퓨터 비전 분야에서 모든 주요 도약을 추진해 온 CNN(Convolutional Neural Networks)과 함께 작업했습니다.

CNN은 이미지의 픽셀에 필터를 반복적으로 적용하여 특징을 인식하는 방식으로 작동합니다. 사진 앱이 라이브러리를 얼굴로 정리하거나 아보카도를 클라우드와 구분할 수 있는 것은 회선 때문입니다. CNN은 비전 작업에 필수 불가결한 것으로 간주되었습니다.

Dosovitskiy는 이 분야에서 가장 큰 과제 중 하나를 수행하고 있었습니다. CNN을 확장하여 처리 시간을 늘리지 않고 더 높은 해상도의 이미지를 나타내는 더 큰 데이터 세트를 훈련하는 것이었습니다. 그러나 그는 언어와 관련된 거의 모든 AI 작업에서 트랜스포머가 이전의 필수 도구를 대체하는 것을 보았습니다. “우리는 무슨 일이 일어나고 있는지 분명히 영감을 받았습니다.”라고 그는 말했습니다. “그들은 이 모든 놀라운 결과를 얻었습니다. 우리는 비전에서 비슷한 것을 할 수 있는지 궁금해하기 시작했습니다.” 이 아이디어는 어느 정도 의미가 있었습니다. 결국, 변환기가 단어의 큰 데이터 세트를 처리할 수 있다면 사진은 안 될까요?

최종 결과는 Vision Transformer 또는 ViT라는 네트워크로 연구원들이 2021년 5월 회의에서 발표했습니다. 모델의 아키텍처는 2017년에 제안된 첫 번째 변압기의 아키텍처와 거의 동일했으며 약간의 변경만 가능했습니다. 단어 대신 이미지를 분석합니다. Rumshisky는 "언어는 이산적인 경향이 있으므로 많은 적응을 통해 이미지를 이산화해야 합니다."라고 말했습니다.

ViT 팀은 모든 픽셀에 대한 자체 주의가 컴퓨팅 시간에 엄청나게 비쌀 것이기 때문에 언어 접근 방식을 정확히 모방할 수 없다는 것을 알고 있었습니다. 대신 그들은 더 큰 이미지를 정사각형 단위 또는 토큰으로 나눴습니다. 원본 이미지의 해상도에 따라 토큰을 더 크거나 작게 만들 수 있으므로 크기는 임의적입니다(기본값은 한 면에 16픽셀). 그러나 그룹으로 픽셀을 처리하고 각 픽셀에 자체 주의를 적용함으로써 ViT는 방대한 훈련 데이터 세트를 빠르게 휘젓고 점점 더 정확한 분류를 내놓을 수 있습니다.

이 변환기는 Dosovitskiy가 예상한 것보다 훨씬 더 나은 결과인 90% 이상의 정확도로 이미지를 분류하여 획기적인 이미지 인식 대회인 ImageNet 분류 챌린지에서 빠르게 상위권에 올랐습니다. ViT의 성공은 컨볼루션이 연구원들이 믿는 것처럼 컴퓨터 비전의 기본이 아닐 수도 있음을 시사했습니다.

ViT를 개발하기 위해 Dosovitskiy와 협력한 Google Brain Zurich의 Neil Houlsby는 "중기적으로 CNN이 비전 트랜스포머 또는 그 파생물로 대체될 가능성이 매우 높다고 생각합니다."라고 말했습니다. 미래 모델은 순수한 변압기일 수도 있고 기존 모델에 관심을 더하는 접근 방식일 수도 있다고 그는 말했습니다.

추가 결과는 이러한 예측을 뒷받침합니다. 연구원들은 ImageNet 데이터베이스에서 이미지 분류를 위해 모델을 정기적으로 테스트하고 2022년 초에 업데이트된 ViT 버전은 CNN과 변환기를 결합한 새로운 접근 방식에 이어 두 번째였습니다. 오랜 챔피언인 트랜스포머가 없는 CNN은 겨우 10위권에 진입했습니다.

변압기 작동 방식

ImageNet 결과는 변환기가 주요 CNN과 경쟁할 수 있음을 보여주었습니다. 그러나 캘리포니아에 있는 Google Brain's Mountain View 사무실의 컴퓨터 과학자인 Maithra Raghu는 그들이 CNN과 같은 방식으로 이미지를 "보는"지 알고 싶었습니다. 신경망은 해독할 수 없는 블랙박스로 악명이 높지만 네트워크의 입력과 출력을 레이어별로 검사하여 훈련 데이터가 어떻게 흐르는지 확인하는 것과 같이 내부를 엿볼 수 있는 방법이 있습니다. Raghu의 그룹은 기본적으로 ViT를 분리하여 이 작업을 수행했습니다.

그녀의 그룹은 알고리즘 내에서 자기 주의가 다른 지각 수단으로 이어지는 방식을 확인했습니다. 궁극적으로 트랜스포머의 힘은 인코딩된 이미지 데이터를 처리하는 방식에서 나옵니다. Raghu는 "CNN에서는 매우 지역적인 것으로 시작하여 서서히 글로벌한 관점을 갖게 됩니다. CNN은 이미지를 픽셀 단위로 인식하고 로컬에서 글로벌로 올라가면서 모서리나 선과 같은 특징을 식별합니다. 그러나 자기 주의력이 있는 트랜스포머에서는 정보 처리의 가장 첫 번째 계층에서도 (언어와 마찬가지로) 먼 이미지 위치 사이를 연결합니다. CNN의 접근 방식이 단일 픽셀에서 시작하여 축소하는 것과 같다면 변환기는 전체 퍼지 이미지에 천천히 초점을 맞춥니다.

이 차이는 트랜스포머가 처음 고안된 언어 영역에서 이해하기가 더 쉽습니다. 다음 문장을 고려해 보십시오. “올빼미가 다람쥐를 훔쳐보았습니다. 발톱으로 잡으려고 했으나 꼬리 끝만 얻었습니다.” 두 번째 문장의 구조는 혼란스럽습니다. "그것"은 무엇을 나타냅니까? "it" 바로 옆에 있는 단어에만 초점을 맞춘 CNN은 어려움을 겪을 수 있지만 모든 단어를 다른 모든 단어에 연결하는 변환기는 올빼미가 움켜잡았고 다람쥐가 꼬리의 일부를 잃은 것을 식별할 수 있었습니다.

트랜스포머가 이미지를 컨볼루션 네트워크와 근본적으로 다르게 처리한다는 것이 분명해졌기 때문에 연구자들은 더욱 흥분했습니다. 문장과 같은 1차원 문자열에서 이미지와 같은 2차원 배열로 데이터를 변환하는 변환기의 다양성은 그러한 모델이 다른 많은 종류의 데이터를 처리할 수 있음을 시사합니다. 예를 들어 Wang은 트랜스포머가 일종의 신경망 아키텍처 수렴을 달성하기 위한 큰 단계가 될 수 있으며, 그 결과 컴퓨터 비전에 대한 보편적인 접근 방식이 될 수 있으며 아마도 다른 AI 작업에도 적용될 수 있다고 생각합니다. 그는 "물론 실제로 구현하기에는 한계가 있지만 모든 종류의 데이터를 하나의 시스템에 넣을 수 있는 보편화 모델이 있다면 그것은 확실히 멋진 일입니다."라고 말했습니다.

컨버전스가 온다

이제 연구자들은 새로운 이미지를 발명하는 더 어려운 작업에 변압기를 적용하기를 원합니다. GPT-3과 같은 언어 도구는 훈련 데이터를 기반으로 새 텍스트를 생성할 수 있습니다. 작년에 발표된 논문에서 Wang은 훨씬 더 어려운 문제인 이미지에 대해 동일한 작업을 수행하기 위해 두 개의 변압기 모델을 결합했습니다. 이중 변압기 네트워크가 200,000명 이상의 유명인의 얼굴에 대해 훈련했을 때 적당한 해상도로 새로운 얼굴 이미지를 합성했습니다. 신경망에서 생성된 이미지를 평가하는 표준 방식인 시작 점수에 따르면 발명된 유명인은 인상적으로 사실적이고 적어도 CNN이 만든 유명인만큼 설득력이 있습니다.

Wang은 이미지 생성에 있어 트랜스포머의 성공이 ViT의 이미지 분류 능력보다 훨씬 더 놀랍다고 주장합니다. "생성 모델은 합성해야 하고 그럴듯해 보이도록 정보를 추가할 수 있어야 합니다."라고 그는 말했습니다. 그리고 분류와 마찬가지로 변환기 접근 방식은 컨볼루션 네트워크를 대체하고 있습니다.

Raghu와 Wang은 원시 이미지, 비디오 및 언어와 같은 여러 유형의 데이터를 동시에 처리할 수 있는 모델인 다중 모드 처리에서 변압기의 새로운 사용 가능성을 보고 있습니다. Raghu는 각 데이터 유형에 고유한 특수 모델이 있는 사일로 접근 방식 때문에 "이전에는 하기가 더 까다로웠습니다"라고 말했습니다. 그러나 변압기는 여러 입력 소스를 결합하는 방법을 제안합니다. "이러한 다양한 유형의 데이터와 이미지 중 일부를 결합하는 흥미로운 응용 프로그램의 전체 영역이 있습니다." 예를 들어, 다중 모드 네트워크는 음성을 듣는 것 외에도 사람의 입술을 읽는 시스템에 전원을 공급할 수 있습니다. Raghu는 "언어와 이미지 정보 모두를 풍부하게 표현할 수 있고 이전보다 훨씬 더 깊은 방식으로 표현할 수 있습니다."라고 말했습니다.

새로운 작업은 로봇이 인체 움직임을 인식하도록 교육하고, 언어에서 감정을 식별하도록 훈련하고, 심전도에서 스트레스 수준을 감지하는 것을 포함하여 다른 AI 영역에서 변압기의 새로운 용도를 제안합니다. 트랜스포머 구성 요소가 포함된 또 다른 프로그램은 AlphaFold로, 10년에 걸친 집중적인 분석이 필요한 작업인 단백질 구조를 신속하게 예측하는 기능으로 작년에 헤드라인을 장식했습니다.

트레이드오프

트랜스포머가 AI 도구를 통합하고 개선하는 데 도움이 될 수 있다고 해도 신흥 기술에는 종종 엄청난 비용이 소요되며 이것도 마찬가지입니다. 변압기는 기존 경쟁 제품의 정확도를 능가하기 전에 사전 훈련 단계에서 더 높은 계산 능력을 필요로 합니다.

그게 문제가 될 수 있습니다. Wang은 "사람들은 항상 고해상도 이미지에 점점 더 많은 관심을 갖고 있습니다. 그 교육 비용은 변압기의 광범위한 구현에 대한 단점이 될 수 있습니다. 그러나 Raghu는 훈련 장애물을 정교한 필터 및 기타 도구로 간단히 극복할 수 있는 장애물로 보고 있습니다.

Wang은 또한 비주얼 트랜스포머가 자신을 포함하여 AI를 발전시키기 위한 새로운 노력을 촉발했음에도 불구하고 많은 새 모델이 여전히 컨볼루션의 가장 좋은 부분을 통합하고 있다고 지적합니다. 이는 미래 모델이 CNN을 완전히 포기하는 것보다 두 가지를 모두 사용할 가능성이 더 높다는 것을 의미한다고 그는 말합니다.

또한 오늘날의 연구자들이 예측할 수 없는 방식으로 변압기의 장점을 활용하는 일부 하이브리드 아키텍처의 감질나는 전망을 제시합니다. Wang은 "트랜스포머가 최종 모델이 될 것이라는 결론을 서두르지 말아야 할 것입니다."라고 말했습니다. 그러나 트랜스포머는 최소한 가까운 AI 상점에 제공되는 새로운 슈퍼 도구의 일부가 될 가능성이 점점 커지고 있습니다.

[익명(118.44)]

변압기=변환기=트랜스포머(인공지능 구조) ViT = 시각 트랜스포머

[익명(118.44)]

트랜스포머는 특징적인 부분을 집중해서 학습할 수 있게 하는 인공지능 구조, 처음 발표된 논문: '집중이 필요한 전부다(Attention is all you need)'

[익명(125.191)]

어텐션이즈올유니드

[익명(221.140)]

요약 "해줘" 뭔 소린지 해석 "해줘"

[익명(118.44)]

해석: 트랜스포머 짱짱 쎔

[익명(123.215)]

CNN도 쓰긴 할거 같음. 너무 고해상도면 연산량이 폭증하니깐 ViT 앞단에 붙인다던가 - dc App

[익명(118.44)]

[ 이 글을 보고 어텐션이 슬퍼합니다. ]

[익명(123.215)]

ㄴ 뭔소리야 ㅋㅋㅋㅋㅋㅋㅋㅋ 나중에 연산력이 풍부해지면 트렌스포머가 훨씬 낫겠지만 현재는 cnn도 같이 써야 고해상도 데이터를 적은 연산력에서도 어느정도 괜찮은 성능이 나옴 - dc App

[ㅇㅇㅇ(14.38)]