최근 발전한 quantization이랑 pruning은 아예 없애냐 아니면 형변환만 하냐의 차이만 있을 뿐 실질적으로 압축 방식이 동일함. 정확히는 quantization이 pruning의 일반화임. Gpt3의 경우 매우 undertrained된 모델(파라미터 대비 데이터가 부족)이므로 파라미터 하나당 저장되는 정보가 적음. 따라서 압축도 많이 할 수 있음. 반면 gpt4나 llama같은 모델은 이미 데이터를 충분히 넣었기 때문에 압축 시 성능 저하가 더 클것임을 예상할 수 있음. 가령 llama 7B의 경우 5배정도까지는 큰 성능 저하 없이 양자화로 압축할 수 있음.
[일반] gpt3.5 20B 압축 그렇게까지 엄청난건 아님
익명(175.113)
2023-10-31 00:18
추천 13
댓글 7
다른 게시글
-
안녕 나 지미니야[일반] 라이따잇(qwer1030123) | 23.10.31추천 0
-
혹시 챗지피티4+달리3 로 모션그래픽 만들 수 있을까? [2][일반] 익명(49.175) | 23.10.31추천 0
-
미국 행정명령 저거 다른나라 규제내용임?[일반] 예아_(ai315) | 23.10.31추천 0
-
전유물에 대해 진짜 몰라서 물음 [9][일반] 익명(125.129) | 23.10.31추천 0
-
전유물충들은 학교를 안다닌거임? [4][일반] 익명(125.182) | 23.10.31추천 2
-
아 근데 라마2 쓰레기야??[일반] 익명(220.123) | 23.10.30추천 0
-
특이점이 오면 일반 개돼지들한테 혜택을 쉽게 주겠냐? [12][일반] dd(125.182) | 23.10.30추천 2
-
ai가 발달하면서 하루가 바빠짐 [2][일반] 익명(183.98) | 23.10.30추천 0
-
만약에 내일 나에게 역노화 돌연변이가 발현할 확률이 [7][일반] 영원한운(eternalluck) | 23.10.30추천 0
-
라플라스의 악마에 대해 알게되었는데 [4][일반] 라이따잇(qwer1030123) | 23.10.30추천 1
요새 전문 용어 쓰는 전공자들 많이 오네
해당 댓글은 삭제되었습니다.
ㅋㅋㅋㅋㅋㅋㅋㅋㅋ
해당 댓글은 삭제되었습니다.
난 그 메타러닝 네이처 논문이 인상깊던데
이거 다루는 분야가 ML중 어디임? ㅈㄴ 궁금
제자리를 찾아간 것일 뿐이다?