[일반] gpt-3.5 파라미터 줄여도 성능 그대로인 이유

[익명(211.227)]

사람도 머리에 총맞고 뇌 절반 날아갔는데도 뇌기능은 정상이었다는 사례가 있음. 이거랑 비슷한 원리라고 본다. 이미 학습이 끝난 모델은 이후 파라미터를 줄여도 성능이 그대로 유지된다는 거임. 

[익명(222.108)]

그 아이디어가 LLM prunning 인데 기존 방법으로 90% 압축은 말이 안돼서... 내부적으로 몇년 앞서있다는게 구라가 아닌듯;