[📪정보] 대규모 다중 작업 학습 시스템에서 작업의 동적 도입에 대한 진화적 접근

[2205.12755] An Evolutionary Approach to Dynamic Introduction of Tasks in Large-scale Multitask Learning Systems (arxiv.org)

초록
다중 작업 학습은 여러 작업에서 학습할 수 있는 모델이 인간 학습의 핵심 기능인 지식 이전을 통해 더 나은 품질과 효율성을 달성할 수 있다고 가정합니다. 그러나 최첨단 ML 모델은 각 작업에 대한 높은 사용자 지정에 의존하고 작업 수를 확장하는 대신 크기와 데이터 규모를 활용합니다. 또한, 멀티태스킹에 시간적 측면을 더한 지속적 학습은 차세대 인공지능을 구축하기 위한 중요한 구성 요소로 대규모로 연구되기보다는 파국적 망각과 같은 일반적인 함정에 대한 연구에 집중하는 경우가 많습니다. 우리는 대규모 멀티태스크 모델을 생성할 수 있고 새로운 작업의 동적 및 지속적인 추가를 지원할 수 있는 진화적 방법을 제안합니다. 생성된 멀티태스킹 모델은 드물게 활성화되며 모델이 확장됨에 따라 제한된 컴퓨팅 비용과 태스크당 더 적은 수의 추가 매개변수를 보장하는 태스크 기반 라우팅을 통합합니다. 제안된 방법은 치명적인 망각 및 기울기 간섭 및 음의 전달과 같은 기타 일반적인 함정에 대한 내성을 달성하기 위해 지식 구획화 기술에 의존합니다. 우리는 제안된 방법이 69개의 이미지 분류 작업에 대해 공동으로 해결하고 경쟁력 있는 결과를 얻을 수 있음을 경험적으로 보여줍니다. 예를 들어 cifar10과 같은 경쟁 작업에 대해 공개 데이터로만 훈련된 모델에 대해 보고된 최고의 테스트 정확도를 달성: 99.43%.

결론
새로운 작업을 실행 중인 시스템에 동적으로 도입할 수 있는 기능과 함께 대규모 작업 세트에서 최첨단 품질을 달성하는 것을 목표로 하는 μ2Net 방법을 도입했습니다. 더 많은 작업을 학습할수록 더 많은 지식이 시스템에 포함됩니다. ViT-L 아키텍처(307M 매개변수)는 69개 작업을 공동으로 해결하는 13,087M 매개변수가 있는 멀티태스킹 시스템으로 발전했습니다. 그러나 시스템이 성장함에 따라 매개변수 활성화의 희소성은 작업당 계산량과 메모리 사용량을 일정하게 유지합니다. 작업당 평균 추가 매개변수는 실험을 통해 38% 감소했으며 결과 멀티태스킹 시스템은 작업당 총 매개변수의 2.3%만 활성화합니다(그림 2 및 표 7 참조). 제안된 방법은 작업당 매개변수/컴퓨팅의 성장에서 새로운 작업을 해결하기 위한 유용한 표현의 성장을 분리할 수 있습니다. 또한, 많은 작업을 실험함으로써 긍정적인 지식 전달의 다양한 패턴을 식별할 수 있었고, 특히 작은 작업과 관련 작업 전반에 걸쳐 효과적인 결과를 보여주었습니다. 시스템에 자식 모델을 도입할 때 돌연변이에 대한 접근 방식은 치명적인 망각, 부정적인 전이 및 기울기 간섭과 같은 일반적인 멀티태스킹 시스템 함정에 대한 내성을 달성하여 지속적인 학습 시스템에서 달성하고자 하는 핵심 속성을 보여줍니다.

[📪정보] 대규모 다중 작업 학습 시스템에서 작업의 동적 도입에 대한 진화적 접근

댓글 6

다른 게시글