24일(현지시간) 취리히 연방 공과대학교 연구진이 LLM의 기반이 되는 트랜스포머 신경망의 피드 포워드 레이어에서 추론에 적합한 뉴런을 식별함으로써 계산 부하를 줄이는 ‘패스트 피드 포워드(Fast Feed Forward)’ 아키텍처를 공개했다고 소개했다.


일반적으로 문장 속 단어와 같은 순차 데이터를 학습해 맥락과 의미를 추적하는 트랜스포머 모델은 서로 떨어져 있는 데이터 요소들의 의미를 이해라는 '어텐션(attention)' 레이어와 입력 데이터 변환을 담당하는 피드 포워드 레이어로 구성된다.


특히 피드 포워드 레이어는 모든 뉴런과 입력 매개변수의 곱을 계산해야 하는 계산 집약적인 부분으로, 모델 성능의 핵심이다.


연구진은 피드 포워드 레이어 내의 모든 뉴런이 입력에 대한 추론 프로세스 동안 활성화될 필요가 없다는 점에 착안, 새로운 패스트 피드 포워드(FFF) 아키텍처를 도입했다.


FFF는 기존 피드 포워드 네트워크에서 사용하는 '밀집 행렬 곱셈(DMM)'을 대체하는 '조건부 행렬 곱셈(CMM)'이라는 수학적 연산을 사용한다.


DMM는 모든 입력 매개변수에 네트워크의 모든 뉴런을 곱하는 계산 집약적이고 비효율적인 프로세스다. 반면에 CMM은 뉴런을 이진 트리(binary tree)로 배열, 입력에 따라 조건부로 하나의 분기만 실행함으로써 소수의 뉴런을 사용하는 방식으로 추론을 처리한다. 즉 FFF는 각 계산에 적합한 뉴런을 식별, 계산 부하를 크게 줄여 빠르고 효율적으로 언어 모델을 작동하도록 만들 수 있다.





이러면 125조 파라미터 모델이 루머가 아니라 곧 현실이 되는거 아님?