[📪정보] 해당 진화알고리즘 LLM교배 논문 클로드 답변보니

이 연구에서는 모델 병합을 위해 매개변수 공간(Parameter Space, PS)과 데이터 흐름 공간(Data Flow Space, DFS) 두 가지 방식을 사용하고 있습니다.

1. 매개변수 공간(PS) 병합:

- 여러 모델의 가중치를 하나로 통합하여 성능을 높이는 방법입니다.

- 각 레이어별로 DARE(Densely Applied Rotation Ensemble)와 TIES(Task-specific Interference Elimination of Spurious weights) 기법을 사용하여 병합 구성을 최적화합니다.

- CMA-ES(Covariance Matrix Adaptation Evolution Strategy) 알고리즘을 사용하여 병합 구성 매개변수를 최적화합니다.

- 정확도(accuracy), ROUGE 점수 등 작업별 평가 지표를 기반으로 최적의 모델을 선정합니다.

2. 데이터 흐름 공간(DFS) 병합:

- 모델의 추론 경로(inference path)를 최적화하여 토큰이 신경망을 통과하는 경로를 결정하는 방법입니다.

- 총 M개의 레이어에 대해 반복 횟수 r을 설정하여 T=M*r 크기의 인디케이터 배열 I를 탐색 공간으로 정의합니다.

- I[i]=1이면 i번째 레이어를 포함하고, I[i]=0이면 제외합니다. 이를 통해 탐색 공간을 2^T로 제한합니다.

- 레이어 간 분포 변화에 따른 성능 저하를 막기 위해 스케일링 가중치 행렬 W도 함께 최적화합니다.

- CMA-ES 알고리즘을 사용하여 I와 W를 최적화하며, 검증 데이터에 대한 정확도가 가장 높은 모델을 선택합니다.

위의 두 가지 병합 방식은 서로 직교(orthogonal)하므로 함께 사용할 수 있습니다. 먼저 PS 병합으로 여러 개의 모델을 만든 뒤, 이를 DFS 병합의 입력으로 사용하여 다중 목적 최적화를 수행할 수 있습니다.

이를 위해 NSGA-II(Non-dominated Sorting Genetic Algorithm II)와 같은 다중 목적 유전 알고리즘을 사용하여 최종 모델의 성능을 향상시킵니다. 이렇게 얻은 최적의 모델들을 다양한 평가 지표에 따라 비교하여 가장 우수한 모델을 선택하게 됩니다.

결국에 수학과 알고리즘이 핵심인듯

못해낼게 없어보인다 진심

[📪정보] 해당 진화알고리즘 LLM교배 논문 클로드 답변보니

댓글 4

다른 게시글