[📪정보] 리퀴드 AI, 스스로 모델 아키텍처 생성하고 진/화하는 'STAR' 공개

https://www.aitimes.com/news/articleView.html?idxno=165919

리퀴드 AI, 스스로 모델 아키텍처 생성하고 진/화하는 'STAR' 프레임워크 공개특정 요구 사항에 맞게 최적화된 맞춤형 인공지능(AI) 모델 아키텍처를 자동으로 생성하고 수정할 수 있는 도구가 등장했다. 이를 통해 AI 애플리케이션의 다양한 요구 사항을 처리할 수 있는 효율적이면서도 고품질의 모델 구축의 자동화가 가능하다는 획기적인 개념이다.MIT 출신 스타트업 리퀴드 AI는 3일(현지시간)가 AI 모델 아키텍처의 생성 및 최적화를 자동화하는 프레임워크 ‘STAR(Synthesis of Tailored Architectures)’를 개발했다고 발표했다.STAR는 AI 모델의 아키텍처를 자동으로 개선하고 최적화한www.aitimes.com

특정 요구 사항에 맞게 최적화된 맞춤형 인공지능(AI) 모델 아키텍처를 자동으로 생성하고 수정할 수 있는 도구가 등장했다. 이를 통해 AI 애플리케이션의 다양한 요구 사항을 처리할 수 있는 효율적이면서도 고품질의 모델 구축의 자동화가 가능하다는 획기적인 개념이다.

MIT 출신 스타트업 리퀴드 AI는 3일(현지시간)가 AI 모델 아키텍처의 생성 및 최적화를 자동화하는 프레임워크 ‘STAR(Synthesis of Tailored Architectures)’를 개발했다고 발표했다.

STAR는 AI 모델의 아키텍처를 자동으로 개선하고 최적화한다. STAR는 기존 개발자가 직접 아키텍처를 구축하던 방식에서 탈피, '선형 입력 변동 시스템(LIVs)' 이론을 바탕으로 새로운 아키텍처를 탐색하는 방법을 제공한다.

즉, 기존 방식은 제한된 설계만 반복하는 데 비해, STAR는 다양한 방식으로 모델 구조를 탐색할 수 있게 해 준다.

STAR는 ‘STAR 게놈(genome)’이라는 아키텍처 설계를 수치적으로 인코딩한 것으로, STAR는 이를 최적화하는 형태로 개선한다. 이 과정에서 STAR는 게놈을 계속해서 평가하고 수정하면서 점점 더 나은 아키텍처를 만들어낸다. 이를 통해 모델의 품질, 효율성, 크기, 추론 캐시 등 중요한 지표를 최적화한다.

모델 아키텍처를 ‘게놈’이라는 계층적 수치 시퀀스로 표현하는 것이 핵심이다. 게놈은 모델을 구성하는 계산 단위들과 이들이 어떻게 연결되는지를 정의한다.

이 탐색 공간은 LIV 시스템에서 영감을 받았으며, 이는 딥 러닝 모델에서 자주 사용되는 합성곱 층, 주의 메커니즘, 순환 유닛 등의 구성 요소를 일반화한다. STAR 게놈은 여러 단계로 나눠져 있으며, 이를 통해 모델에서 사용되는 계산 단위들의 구조와 특성을 결정한다.

STAR는 진/화 알고리즘을 사용해 이 게놈들을 최적화한다. 이 과정은 평가, 재조합, 돌연변이 등의 단계를 포함하며, 시간이 지나면서 점점 더 나은 모델 아키텍처가 만들어진다. 각 아키텍처는 성능 지표에 따라 평가되고, 가장 성능이 좋은 아키텍처들은 재조합되고 돌연변이를 거쳐 새로운 세대의 아키텍처가 생성된다.

이는 다양한 아키텍처 설계를 생성할 수 있는 방법을 제공한다. 모델 아키텍처를 관리하기 쉬운 부분으로 나누고 이를 체계적으로 최적화하여 계산 효율성과 품질을 모두 만족하는 모델을 만들 수 있다. 예를 들어, STAR로 만든 아키텍처는 트랜스포머나 하이브리드 모델보다 크기, 효율성, 추론 캐시 등의 지표에서 성능이 더 뛰어나다는 설명이다.

리퀴드 AI의 실험에 따르면, STAR로 진/화한 아키텍처는 최적화된 트랜스포머와 하이브리드 모델을 능가했다. 매개변수는 13% 줄였으면서도 품질은 유지하거나 더 개선했다는 것이 대표적이다.

또 캐시 크기를 줄이는 데에도 효과적인 것으로 알려졌다. 품질과 캐시 크기를 동시에 최적화할 때, STAR로 진/화한 모델은 트랜스포머 모델보다 최대 90% 더 작은 캐시를 사용하면서도 품질은 동등하거나 더 뛰어난 결과를 보였다. 이는 STAR가 여러 지표를 동시에 최적화하면서 아키텍처를 효과적으로 설계할 수 있다는 것을 보여준다.

한편, 리퀴드 AI는 지난 10월 독자적인 '액체 신경망(LNN)' 아키텍처 기반의 ‘리퀴드 파운데이션 모델(LFM)’을 출시하며 유명해진 스타트업이다.

이 모델은 적은 전력을 사용해 기존 모델보다 안정적으로 작업을 수행할 수 있는 새 유형의 AI 아키텍처로 주목 받았다.

https://www.liquid.ai/research/automated-architecture-synthesis-via-targeted-evolution

Automated Architecture Synthesis via Targeted EvolutionToday, we report advances in automated neural network architecture design and customization. We developed algorithms for the synthesis of tailored architectures (STAR), based on evolutionary algorithms applied to a numerical representation for model architectures derived from a new design theory. STAR automates the process of architecture discovery and optimization, turning it into an end-to-end process. With these methods, we have been able to tailor architectures to custom tasks, metrics, and hardware. We used STAR to synthesize hundreds of different designs that outperform strong Transformer and hybrid architectures in quality, with smaller caches and number of parameters.www.liquid.ai

솔담비딸기카나페(rty1x21s8nhq) 2024-12-04 22:23

답글

익명(182.230) 2024-12-04 22:33

주소 썸네일? 에 내용 어케 수정한거야??

니지카엘(eltldd001) 2024-12-04 22:24

우상단 HTML 체크해서 수정하면 됨

익명(182.230) 2024-12-04 22:27

아 공앱으로는 못하겠네... 암튼 고마엉

니지카엘(eltldd001) 2024-12-04 22:27

뭐야 재귀개선 그거임?

익명(112.158) 2024-12-04 22:29

익명(182.230) 2024-12-04 22:32

q.. star..? - dc App

뜨콜(thkol) 2024-12-04 22:39

에볼루션!

익명(perform4782) 2024-12-04 22:42

[📪정보] 리퀴드 AI, 스스로 모델 아키텍처 생성하고 진/화하는 'STAR' 공개

댓글 9

다른 게시글