[📪정보] 컴퓨터비전의 GPT 모먼트가 왔다 (VAR)

[익명(123.100)]

우리는 이미지에 대한 자동 회귀 학습을 표준 래스터 스캔 "다음-스케일 예측"에서 벗어나 대략적인 "다음 규모 예측" 또는 "다음 해상도 예측"으로 재정의하는 차세대 패러다임인 Visual AutoRegressive 모델링(VAR)을 제시합니다. 토큰 예측".

이 간단하고 직관적인 방법을 사용하면 자동회귀(AR) 변환기가 시각적 분포를 빠르게 학습하고 잘 일반화할 수 있습니다.

VAR을 사용하면 처음으로 AR 모델이 이미지 생성에서 확산 변환기(DiT)를 능가하게 됩니다.

ImageNet 256x256 벤치마크에서 VAR은 FID(Frechet Inception Distance)를 18.65에서 1.80으로, IS(Inception Score)를 80.4에서 356.4로 개선하고 추론 속도를 약 20배 더 빠르게 개선하여 AR 기준을 크게 향상시킵니다.

또한 VAR은 이미지 품질, 추론 속도, 데이터 효율성, 확장성 등 여러 측면에서 DiT(확산 변환기)보다 성능이 우수하다는 것이 경험적으로 검증되었습니다.

VAR 모델을 확장하면 LLM에서 관찰된 것과 유사한 명확한 거듭제곱 법칙이 나타나며 선형 상관 계수는 -0.998에 가깝다는 확실한 증거가 있습니다.

VAR은 이미지 인페인팅, 아웃페인팅 및 편집을 포함한 다운스트림 작업에서 제로샷 일반화 기능을 더욱 보여줍니다.

이러한 결과는 VAR이 처음에 LLM의 두 가지 중요한 속성인 확장 법칙과 제로샷 작업 일반화를 에뮬레이트했음을 시사합니다.

시각적 생성 및 통합 학습을 위한 AR/VAR 모델 탐색을 촉진하기 위해 모든 모델과 코드를 공개했습니다.

Sora에도 쓰인 DiT(디퓨전 트랜스포머)를 넘어서는 방법이 등장함

DiT 대비 지표도 뛰어나며, 특히 LLM과 똑같은 스케일링 법칙이 명확하게 관찰됨

생성 속도 또한 DiT 대비 훨씬 더 빠름(대략 45배~80배)

북경대와 바이트댄스에서 내놓음

소스코드 및 가중치 오픈소스

[익명(125.191)]

[익명(211.212)]

[난난난(decid)]

오 ㄷㄷ

[익명(182.230)]

[익명(175.124)]

오 오늘은 뭐가 좀 나오네

[익명(220.118)]

Sora 상용화 하기도 전에 퇴물행 ㄷㄷ

[익명(49.142)]

바이트댄스가 비전쪽 논문 맛집임 ㄹㅇ

[익명(59.28)]

소라 범부 돼버렸노

[부패하는유전자!!!(sansss2015)]

캬

[익명(115.143)]

발전진짜 개빠르다 캬

[익명(175.118)]

북경대? 짱깨 거른다 ㅅㄱ 한국 짱짱맨 멸공!

[디시콘발사대(fcbjsjmu1t9f)]

[디시콘발사대(fcbjsjmu1t9f)]

와.. Animate Anything도 감탄했는데 중국쪽에서 굉장한 결과를 꽤 많이 보여주네

[디시콘발사대(fcbjsjmu1t9f)]

당장 보이는 예시 이미지는 좀 찌그러져 있는데.. 학습 스케일이 작은 건가? SD3보다 더 쓸만한 놈이면 좋겠다

[익명(landofooo)]

중국애들 로봇도 바짝 쫓아오더라 미국이 더 과감하게 나서야할듯

[익명(123.100)]

논문쓰려고 이미지넷으로만 학습한거라서 그려. 확장할수록 좋아지는걸 수치적으로보여줬고 다음에는 영상쪽도 해볼거라네 논문보니. 그리고 논문에 소라언급이 되게 많음 - dc App

[디시콘발사대(fcbjsjmu1t9f)]

[익명(landofooo)]

게임 오바. 싹다 발전시켜.

[익명(112.186)]

확정이네 고생했다

[익명(219.248)]

짱깨놈들 소라보고 충격 받았다더니 바로 추격하네ㄷㄷ

[익명(116.34)]

싹다구속시켜

[익명(221.152)]

이번 작업에는 비디오 생성이 구현되지 않았지만 자연스럽게 확장될 수 있습니다. 다중 스케일 비디오 특성을 3D 피라미드로 간주하면 SORA [51]에서와 같은 "3D next-scale prediction"을 공식화할 수 있습니다. 이는 시간적 일관성과 LLM과의 통합에 내재적 이점이 있어 잠재적으로 더 긴 시간적 종속성을 처리할 수 있습니다. 이렇게 하면 VAR이 비디오 생성 분야에서 경쟁력이 생깁니다. 왜냐하면 전통적인 AR 모델은 매우 높은 계산 복잡성과 느린 추론 속도로 인해 비디오 생성에 비효율적일 수 있기 때문입니다. 하지만 VAR은 이를 해결할 수 있습니다. 따라서 우리는 VAR 모델을 활용하여 비디오 생성 분야에서 유망한 미래를 전망합니다.

[익명(221.152)]

6 결론 우리는 Visual AutoRegressive modeling(VAR)이라는 새로운 시각적 생성 프레임워크를 소개했습니다. 이는 1) 이론적으로 표준 이미지 자기회귀(AR) 모델에 내재된 문제를 해결하고, 2) 이미지-모델 기반 AR 모델보다 이미지 품질, 다양성, 데이터 효율성, 추론 속도 측면에서 우수한 성능을 발휘합니다. 20억 개의 매개변수로 VAR을 확장했을 때, 모델 매개변수나 훈련 계산 능력과 테스트 성능 사이에 명확한 지수 법칙 관계가 있음을 확인했습니다. 이 계수는 -0.998에 가까워 강력한 성능 예측 프레임워크임을 나타냅니다. 이러한 확장 법칙과 zero-shot 작업 일반화 가능성은 LLM의 특징입니다. 우리의 VAR 변환기 모델에서 초기에 이를 확인했습니다.

[익명(221.152)]

우리의 발견과 오픈 소스가 자연어 처리 분야의 상당한 성과를 컴퓨터 비전에 더욱 원활하게 통합하여 강력한 다중 모달 인텔리전스 발전에 기여하기를 희망합니다.

[익명(221.152)]

sora 공식서비스 하기도전에 영상계 2차충격 온다 ㄷㄷㄷㄷ

[은바다(nmra3fmzhxmg)]

더빨리 발전시켜! 뭐하냐고! 더빨리!!!!!!!!!!!!!

[은바다(nmra3fmzhxmg)]

[MoonChild(aowlr2001)]

[도로시냥(slzpdnjsxnf)]

[익명(103.249)]

1번짤 왼쪽 아래에 개추있네

[익명(bluewarp)]

중국은 뭐만하면 몇십배~몇억배 빠른거 개발했다면서 그후 소식이 없네..

[익명(106.101)]

논문 대충 훑어봤는데 이정도면 diffusion에서 var로 패러다임전환이 가능할정도로 대단한 논문인데. 솔직히 올해 본 논문중 bitnet과 함께 2 top으로 흥미로움. 그리고 var에 bitnet도 적용할수도 있어보임

[익명(175.193)]

논문 찾아서 읽어봤는데 기초 설명이 되게 잘 되어있당. 좋은 논문 소개 고마워!!

[익명(175.193)]

솔직히 아이디어가 엄청 대단하거나 엄청 새롭지는 않은 것 같은뎅 확실히 트랜스포머 구조가 좋긴한가보다.

[익명(222.238)]

씨발 내 연구분야

[천사다천사(jjtheman999)]

[익명(211.252)]