[📪정보] WenLan 2.0 멀티모달 모델을 통해 AI 상상 만들기

중국산 AGI 가 온다..!!

중요한 것은, 얻어진 유사한 결과는 우리의 모델이 실제로 특정 언어를 넘어 AGI에 더 가까운 실현 가능한 솔루션을 제공한다는 것을 나타낸다.

우리는 6억 5천만 개의 이미지-텍스트 쌍으로 구성된 약한 의미 상관 데이터 세트(WSCD)에 대해 효율적으로 훈련된 BriVL이라는 대규모 멀티모달 기반 모델을 개발했다. 우리는 신경망 시각화를 통해 정렬된 이미지-텍스트 임베딩 공간의 직접 증거를 식별하고 텍스트-이미지 생성을 통한 BriVL의 교차 모달 이해 능력을 보여주었다. 우리는 처음으로 다중 모드 기초 모델이 언어(예: 단어와 문장)를 이해하는 방법을 시각적으로 밝혔다. 또한, 다른 다운스트림 작업에 대한 광범위한 실험은 BriVL의 교차 도메인 학습/전송 능력과 단일 모드 학습에 비해 다중 모드 학습의 장점을 보여준다. 특히, 우리의 BriVL은 추론과 상상력을 습득하는 것으로 보인다.

마지막으로, 우리는 이러한 모든 장점이 주로 우리의 BriVL에 따른 약한 의미상관 가정에 기인한다고 믿는다. 즉, 약하게 상관된 영상-텍스트 쌍의 복잡한 인간 감정과 생각을 효과적으로 융합함으로써, 우리의 BriVL은 더 인지적이고 일반적이게 된다(즉, AGI에 훨씬 가깝게).

AGI를 향한 굳건한 발걸음은 AI 개발계뿐만 아니라 다양한 AI+ 분야에도 큰 영향을 미칠 것으로 판단된다. GPU 자원 저장 멀티모달 사전 훈련 프레임워크를 기반으로 하는 AI 연구 분야 자체의 경우, 연구자들은 BriVL을 더 많은 양식으로 더 큰 용량으로 쉽게 확장하여 보다 일반적인 기초 모델로 이끌 수 있다. 또한 대규모 멀티모달 파운데이션의 도움을 받아

또한 연구자들이 새로운 과제(특히 풍부한 인간 주석 샘플이 없는 과제)를 탐구하는 것이 훨씬 더 쉬울 것이다. AI+ 필드의 경우, 그러한 기초 모델은 강력한 일반화 능력 덕분에 특정 작업 상황이나 환경에 빠르게 적응할 수 있다. 예를 들어, 의료 분야에서 멀티모달 기반 모델 진단 정확도를 향상시키기 위해 다중 데이터(예: 컴퓨터 단층 촬영 데이터 및 혈액 루틴 검사 데이터)의 사례 데이터를 충분히 활용할 수 있다. 더욱이, 신경과학에서, 다중 모드 기초 모델은 인공 신경망이 훨씬 더 간단하기 때문에 다중 모드 데이터가 어떻게 연결되고 융합되는지의 메커니즘을 찾는 데 도움을 줄 수 있다.

인간 뇌의 실제 신경계보다 더 많이 검사한다.

그럼에도 불구하고, 멀티모달 기반 모델은 여전히 잠재적 위험과 도전에 직면해 있다. 기초 모델의 성능은 그들이 사전 훈련한 데이터에 기초하기 때문에, 모델들은 특정 문제에 대한 편견과 고정관념을 배울 가능성이 높으며, 모델 훈련 전에 주의 깊게 다루어야 하고 모니터링/주소되어야 한다.

다운스트림 애플리케이션으로 이동합니다. 게다가, 기초 모델이 점점 더 많은 기술을 숙달함에 따라, 이러한 모델의 제작자들은 사회에 부정적인 영향을 미칠 수 있는 나쁜 의도를 가진 사람들에 의한 모델 오남용(예: 조작 또는 가짜 콘텐츠 생성)을 인지해야 한다. 게다가, 학문적으로 기초 모델의 진화 도전에 대해, 그것은

(1) 기초 모델에 더 깊이 모델 호환성 도구를 개발하고, (2) 더 많은 모달리티로 거대한 사전 훈련 데이터 세트를 구성하며, (3) 더 효과적인 적응/핀튠 기법으로 다양한 다운스트림 작업에 기초 모델을 적용하는 것이 큰 과제이다.

BriVL(또는 모든 대규모 멀티모달 기반 모델)이 학습한 내용과 그것이 무엇을 할 수 있는지에 대한 우리의 이해는 이제 막 시작되었다. 기초 모델을 더 잘 이해하고 보다 참신한 활용 사례를 개발하기 위한 추가 연구의 여지가 여전히 많다. 예를 들어, 이미지는 보편적으로 이해되는 "언어"로 간주될 수 있으므로, 여러 언어를 포함하는 훨씬 더 큰 데이터 세트를 요청하면 언어 번역 모델을 얻을 수 있다.

멀티모달 사전 훈련의 부산물로써. 또한 추가 양식(예: 비디오 및 오디오)을 탐색하여 보다 지능적인 모델을 사전 교육하여 AGI에 더욱 근접할 수 있다.

[📪정보] WenLan 2.0 멀티모달 모델을 통해 AI 상상 만들기

댓글 3

다른 게시글