[📪정보] 구글 딥마인드 "언어 모델링은 압축이다"...LLM 압축 관련 논문 발표

[익명(14.32)]

https://www.aitimes.com/news/articleView.html?idxno=154041

구글 딥마인드 "언어 모델링은 압축이다"...LLM 압축 관련 논문 발표

구글 치타는 쪼개고 있다...

[익명(211.178)]

[익명(211.178)]

모델 자체가 수GB씩 나가고 1GB짜리 파일 압축에 시간 단위가 필요하다고 하니 당장 쓸 순 없겠지만 재밌는 이야기네 특갤에도 얼마 전에 '언어모델은 데이터를 압축하는 것과 같은가?' 라는 질문이 올라왔었는데 딥마인드가 확정을 내버리네

[익명(1.231)]

언어모델이 자기가 학습한 정보를 이미 전부 내장하고있다며 가중치의 형태로.. 그거 자체가 이미 엄청난 압축이지 학습한 정보가 얼마나많은데

[익명(landofooo)]

싹다 압축시켜

[익명(175.193)]

당연한 얘기임. 추상적인거 빼놓고 보면 파라미터 여러 개로 fitting function 만든거니까 raw data보다 당연히 압축되지.