[📪정보] LilNetX(극한 압축 및 구조적 희소화가 있는 경량 네트워크)

[익명(1.239)]

https://syncedreview.com/2022/04/11/maryland-u-google-introduce-lilnetx-simultaneously-optimizing-dnn-size-cost-structured-sparsity-accuracy/

Maryland U와 Google, LilNetX 도입: DNN 크기, 비용, 구조적 희소성 및 정확도 동시 최적화

- 메릴랜드 대학과 Google Research의 팀은 주어진 작업에 대한 정확도, 디스크의 모델 크기 및 계산에 대한 모델 매개변수를 공동으로 최적화하는 신경망용 종단 간 학습 가능한 기술인 LilNetX를 제안합니다.

심층 신경망(DNN)에 대한 현재의 일반적인 통념은 대부분의 경우 단순히 모델의 매개변수를 확장하고 계산 집약적인 아키텍처를 채택하면 성능이 크게 향상된다는 것입니다. 이 확장 전략은 연구실에서 성공적인 것으로 입증되었지만 개발자가 DNN을 반복적으로 교육하고 이를 다른 장치로 전송하고 다양한 하드웨어 제약 조건에서 최소한의 정확도 상실로 수행할 수 있는지 확인해야 하는 경우가 많기 때문에 실제 산업 배포에는 여러 가지 복잡한 문제가 있습니다.

따라서 연구 커뮤니티는 런타임을 개선하는 동시에 장치에서 이러한 모델의 저장 크기를 줄이는 데 점점 더 관심을 갖게 되었습니다. 이 영역에 대한 탐색은 압축 기술을 통해 모델 크기를 줄이거나 모델 정리를 사용하여 계산 부담을 줄이는 두 가지 방법 중 하나를 따르는 경향이 있습니다.

새로운 논문 LilNetX: Lightweight Networks with EXtreme Model Compression and Structured Sparsification 에서 University of Maryland와 Google Research의 팀은 정확도, 디스크의 모델 크기 및 주어진 작업에 대한 계산을 위해 모델 매개변수를 공동으로 최적화하는 신경망용 종단 간 학습 가능한 기술인 LilNetX를 사용하여 두 접근 방식 간의 "갭을 메우는" 방법을 제안합니다. 

팀은 주요 기여를 다음과 같이 요약합니다.

1. 네트워크 추론에서 직접적인 계산 이득을 위해 모델 압축과 구조화 및 비구조화 희소화를 공동으로 수행하는 알고리즘인 LilNetX를 소개합니다. 우리 알고리즘은 단일 공동 최적화 목표를 사용하여 종단 간 훈련이 가능하며 사후 훈련이나 사후 처리가 필요하지 않습니다.

2. 광범위한 절제 연구 및 결과를 통해 대부분의 네트워크 및 데이터 세트 설정에서 모델 압축 및 가지치기 모두에서 기존 접근 방식을 능가하는 동시에 접근 방식의 효율성을 보여줍니다.

연구원들은 CNN(Convolutional Neural Network)을 사용한 분류 작업을 고려합니다. 여기에서 목표는 1) 분류 정확도를 최대화하고, 2) 디스크에 모델을 저장하는 데 필요한 비트 수를 최소화하도록 공동으로 최적화된 CNN을 훈련하는 것입니다. 3) 모델에서 추론의 계산 비용을 최소화합니다. 팀은 그들의 접근 방식이 객체 감지 또는 생성 모델링과 같은 다른 작업으로 확장될 수도 있다고 말합니다. 그리고 그들이 아는 한, 그들의 연구는 압축 및 구조화된 희소성 측면에서 모델을 공동으로 최적화하는 것이 가능하다는 것을 보여주는 첫 번째 연구입니다.

팀은 재매개변수화된 양자화( Oktay et al. ) 아이디어를 채택하여 모델 압축을 수행하여 재매개변수화된 잠재 공간에서 양자화된 가중치의 엔트로피에 페널티를 줍니다. 이 접근 방식은 디스크의 유효 모델 크기를 줄이는 데 매우 유용합니다. 또한 재매개변수화된 양자화에 대한 주요 설계 변경 사항을 도입하여 모델의 구조화 및 비구조화 매개변수 희소성을 장려하고 모델 압축률과 정확도 사이의 균형을 가능하게 하여 추론 시간 동안 전체 밀도 모델이 더 이상 필요하지 않습니다. 팀은 또한 매개변수 공간에서 구조화된 희소성을 높이고 계산을 줄이기 위해 사전 작업을 사용하고 결과 모델을 LilNetX(극한 압축 및 구조적 희소화가 있는 경량 네트워크)라고 부릅니다.

경험적 연구에서 팀은 세 가지 데이터 세트(CIFAR-10, CIFAR-100 및 ImageNet)에서 세 가지 네트워크 아키텍처(VGG-16, ResNet 및 MobileNet-V2)에 접근 방식을 적용했습니다.

결과는 기존의 최첨단 모델 압축 방법과 비교하여 LilNeX가 CIFAR-10 데이터 세트에서 동일한 정확도를 유지하면서 ResNet-20에서 최대 50% 더 작은 모델 크기와 98% 모델 희소성을 달성한다는 것을 보여줍니다. 이 접근 방식은 또한 ImageNet에서 훈련된 ResNet-50에서 35% 더 작은 모델 크기와 42% 구조화된 희소성을 산출합니다.

동시 압축 및 FLOP 감소에서 제안된 LilNeX의 최첨단 성능은 추론 속도 향상으로 직접 변환되고 압축(메모리 요구 사항 감소) 및 구조화된 희소성(계산 감소) 측면에서 DNN을 공동으로 최적화하는 방법의 능력을 검증합니다.

코드는 프로젝트의 GitHub GitHub - Sharath-girish/LilNetX: Official PyTorch implementation of LilNetX: Lightweight Networks with EXtreme Model Compression and Structured Sparsification 에서 사용할 수 있습니다 .

LilNetX : Lightweight Networks with EXtreme Model Compression and Structured Sparsification 논문은 arXiv [2204.02965] LilNetX: Lightweight Networks with EXtreme Model Compression and Structured Sparsification (arxiv.org) 에 있습니다.