[📪정보] Microsoft의 다중모드 통합 프레임워크 i-Code

[익명(1.239)]

Microsoft Azure Introduces i-Code: A General Framework That Enables Flexible Multimodal Representation Learning | Synced (syncedreview.com)

https://arxiv.org/abs/2205.01818

i-Code: 통합 및 구성 가능한 다중 모드 학습 프레임워크

인간 지능은 다중 모드입니다. 시각적, 언어적, 청각적 신호를 통합하여 전체적인 세계관을 유지합니다. 그러나 대부분의 현재 사전 훈련 방법은 하나 또는 두 가지 양식으로 제한됩니다. 우리는 사용자가 시각, 언어 및 언어 양식을 통합된 범용 벡터 표현으로 유연하게 결합할 수 있는 자체 지도 사전 교육 프레임워크인 i-Code를 제시합니다. 이 프레임워크에서 각 양식의 데이터는 먼저 사전 훈련된 단일 양식 인코더에 제공됩니다. 그런 다음 인코더 출력은 다양한 방식의 정보를 효과적으로 결합하기 위해 새로운 주의 메커니즘 및 기타 아키텍처 혁신을 사용하는 다중 모드 융합 네트워크와 통합됩니다. 전체 시스템은 마스킹된 양식 단위 모델링 및 교차 양식 대조 학습을 포함한 새로운 목표로 종단 간 사전 훈련됩니다. 사전 훈련을 위해 비디오만 사용하는 이전 연구와 달리 i-Code 프레임워크는 훈련 및 추론 중에 단일, 이중 및 삼중 양식 데이터를 동적으로 처리하여 양식의 다양한 조합을 단일 표현 공간에 유연하게 투영할 수 있습니다. 실험 결과는 i-Code가 5가지 비디오 이해 작업과 GLUE NLP 벤치마크에서 어떻게 첨단 기술을 능가할 수 있는지 보여주며, 최대 11% 향상되고 통합 다중 모드 사전 훈련의 힘을 보여줍니다.

[익명(49.166)]

오늘 tpuv5공개됌?

[익명(1.239)]

몰라

[익명(49.166)]

I code가지고 멀티모달만든다는 뜻인가

[익명(1.239)]

읽어

[익명(49.166)]

모르겠네 i code가지고 멀티모달훈련 가능해진것같은데

[ㅇㅇㅇ(14.38)]

[익명(218.150)]

마소 버전 패스웨이

[익명(59.14)]