[📪정보] NVC-1B: 대형 Neural Video Coding 모델

[익명(landofooo)]

https://arxiv.org/html/2407.19402v1

NVC-1B: A Large Neural Video Coding Model

최근 대형 모델들이 자연어 처리와 컴퓨터 비전 분야에서 큰 진전을 이루었지만, Neural Video Coding (신경망 기반 비디오 압축) 분야에서는 아직 많이 연구되지 않았습니다. 본 논문에서는 소형 모델을 기반으로 다양한 코딩 요소의 모델 크기를 확장하여 비디오 압축 성능에 미치는 영향을 분석합니다.

또한, CNN(Convolutional Neural Network), CNN-Transformer 혼합형, Transformer 아키텍처 등을 사용하여 모델 구조가 비디오 압축 성능에 미치는 영향을 탐구합니다. 이를 기반으로 10억 개 이상의 파라미터를 가진 첫 Neural Video Coding 모델인 NVC-1B를 설계했습니다. 실험 결과, 이 모델은 소형 모델보다 비디오 압축 성능이 크게 향상되었으며, 최첨단 압축 효율성을 보였습니다.

세 줄 요약

1. 대형 모델은 자연어 처리와 컴퓨터 비전에서 성공적이지만, Neural Video Coding에서는 연구가 부족합니다.

2. 다양한 코딩 요소의 모델 크기와 구조를 확장하여 비디오 압축 성능에 미치는 영향을 분석합니다.

3. NVC-1B 모델은 10억 개 이상의 파라미터를 사용해 소형 모델보다 뛰어난 비디오 압축 성능을 보였습니다.

구체적인 수치

NVC-1B 모델은 기존 Neural Video Coding 소형 모델보다 비디오 압축 성능이 30% 향상되었습니다.

신경망으로 싹다 압축시켜.

[천사다천사(jjtheman999)]

CNN? 대르쿤 또 당신입니까..?!

[익명(landofooo)]

요즘에 cnn transformer 블록 갖다가 다른데서도 엄청많이 쓰더라

[익명(115.143)]

이런 소식 개좋다 보안 쪽도 AI덕좀 본다던데 인코딩도 가속 하는구나

[익명(landofooo)]

[dddqwer(vital7966)]

그럼 앞으로 영상볼때 gpu 있어야 볼수있겠네 ㅅㅂ

[익명(landofooo)]

그건 아님 지금도 인코딩 디코딩은 CPU 됨

[dddqwer(vital7966)]

1빌리언 모델을 cpu에서 돌린다고?

[익명(landofooo)]

아니 모델돌리는게 아니고 기존 인디코더 asic이 내장돼있단거

[dddqwer(vital7966)]

아 그런거구나 ㅇㅋ

[익명(61.85)]

LLM은 그냥 compression이다 라는 페이퍼 나올 때부터 이제 AI로 영상 인코딩도 되겠구나 싶었는데 슬슬 나오네 최신 AV1, VVC 코덱 다 좆같던데 AI로 돌파구를 만들어낼려나

[익명(landofooo)]

NN기반 코덱이 압축률은 엄청 좋은데 디코딩 타임이 너무 길어서 복잡성이 좀 문제긴 하더라

[익명(rechido)]