[📪정보] 딥마인드 기존 모델을 유지하면서 신경망의 크기를 늘리는 방법을 제안

[익명(156.146)]

https://www.marktechpost.com/2023/08/18/google-deepmind-researchers-propose-6-composable-transformations-to-incrementally-increase-the-size-of-transformer-based-neural-networks-while-preserving-functionality/

Google DeepMind Researchers Propose 6 Composable Transformations to Incrementally Increase the Size of Transformer-based Neural Networks while Preserving Functionality

이러한 변환은 모델 크기를 증가시키고 따라서 기능을 변경하지 않고도 모델의 잠재적 용량을 증가시켜 지속적인 교육을 허용합니다. 이러한 구성 가능한 변환은 아키텍처의 독립적인 차원에서 작동하므로 세분화된 아키텍처 확장이 가능합니다. 일부 이전 작업에서는 더 작은 컨벌루션 및 고밀도 모델에 대한 기술에서 확장된 변환기 기반 모델에 대한 함수 보존 매개변수 확장 변환을 제안했습니다.
이 방법이 효과적이라면 새로운 모델을 만들 필요 없이 제미니를 더 확장하고 업그레이드 하는게 가능할듯

[부패하는유전자!!!(sansss2015)]

딥마인드가 참여한 제미나이가 더 기대된다

[익명(akxmfhtm13)]

와 좀 획기적인데? 매개변수를 보존해서 처리하는거면 기존 딥런닝보다 자원소모나 런닝속도는 많이 줄어들긴할텐데...알고리즘 확장성은 해결못했네? 폐쇄적인 딥런닝환경에선 진짜 효율적일듯ㅇㅇ 충돌없이 작동하는게 신기하다

[익명(landofooo)]

pretrained랑은 또 다른가보네?