[📪정보] 스케일을 줄이면서 모델 성능을 유지하는 방법

[익명(182.230)]

더 큰 모델, 즉 더 많은 파라미터를 가진 모델은 데이터 학습 능력이 향상되어 더 정확할 수 있습니다. 그러나 일반적으로 프로그래밍, 저장, 미세 조정 및 실행이 더 어렵기 때문에 더 많은 계산 능력, 메모리 및 전문 지식이 필요합니다. 사용자에게는 성능이 더 좋아질 수 있지만 응답 시간은 느려지고 비용은 더 높아질 수 있습니다.

이러한 경우, 중요하지 않은 파라미터를 제거하여 심각한 성능 저하 없이 모델을 최적화하는 방법이 있는 것으로 보입니다. Neural Magic은 이러한 접근 방식을 강력히 지지하는 회사로 보입니다.

Pruning(가지치기)은 신경망을 경량화하고자 할 때 사용하는 방법입니다. Figure 1은 pruning을 잘 보여주는 그림입니다. 모든 node가 연결이 되어있던 왼쪽 그림으로 오른쪽과 같이 시냅스(혹은 edge)와 뉴런(혹은 node)를 없애는 것입니다.

당연히 무작정 없애면 안 되고 보통은 parameter가 0에 가깝다거나 훈련을 거의 안 했다거나 하는 지표를 가지고 판단하여 pruning하게 됩니다. 실제로는 그림처럼 아예 없앤다고 이해하기보다 0으로 만들었다고 생각하면 됩니다. (이는 pruning 방법에 따라 아예 없앨 수도 있긴 합니다.)

가지치기 기법으로 모델의 성능은 최대한 보존하면서 크기를 줄일 수 있음

다만 이러한 방식으로도 60% 이상 감소하면 성능이 급격하게 하락한다는 듯

GPT-3 (1750억) - > GPT-3.5 터보 (200억)

= 파라미터 88.5% 감소

오픈AI는 LLM 깎는 장인들만 모인건가;;

[익명(222.108)]

갑자기 생각든건데 distillation + prunning하면 뭔가 될 것 같기도하고

[디시콘발사대(fcbjsjmu1t9f)]

[ㅇㅊ(cleep00001)]

가지치기?? 이거 완전 인간이랑 똑같은데.. ㅇㅅㅇ

[익명(14.38)]

다이어트에 미친 놈들

[ㅇㅋ(ijh2005)]

쟤 내부모델돌려서 개조한거란거 지미애플이었나 룬이었나

[익명(175.206)]

푸룬은 인공지능 초기부터 있던 기술일거야. 물론, 이런 기술이 좋은 지 나쁜지는 써보고 결과 봐야만 알 수 있음. GPT는 잘 먹힌건데. 이런 기술이 한 두개가 아닌거지. 심지어 과거엔 안 좋았던 기술도 LLM엔 먹힐 수도 있음. 해봐야 암. 물론 openAI만 해보겠지. 어쨌든 이러니까 인공지능이 아직은 발전하는 예측만 나오는 거 같음.

[익명(landofooo)]

ㄹㅇ pruning 저거 걍 dropout이랑 비슷한거 아닌가... 이런 거 하나만으로도 개선이 지리니

[익명(121.88)]

Dropout은 Random하게 노드를 비활성화 해서 많이 다를듯

[익명(183.98)]

이건 인간의 뇌발달과정과 동일한 거임. 아기때 안쓰는 신경망은 다 쇠퇴시켜버린다고

[익명(182.230)]

생각해보니 어렸을 때 외국어 배워두라는 이유가 그거였네

[익명(183.98)]

neuroplasticity가 있어서 어른이라도 못배우는건 아님. 하기에 따라서

[익명(182.230)]

ㅇㅎ

[부패하는유전자!!!(sansss2015)]

헐

[익명(amazonia)]

음...

[익명(beamblot)]

사람같다