[일반] LLM의 파라미터를 키울 때 나타나는 급격한 성능 향상은 허상이라는 논문

[익명(175.120)]

Are Emergent Abilities of Large Language Models a mirage? (https://arxiv.org/abs/2304.15004)

메트릭 선정에 따라 다르대

[익명(221.152)]

그런데 이 논문이 무의미 한게 창발하든 창발하지않든 급격한 그래프변화가 허상처럼 보이든 일단은 스케일이 모델의 성능을 키운다는 기본논지는 똑같네

[익명(221.152)]

결국은 THE SCALE IS ALL YOU NEED 임

[익명(59.9)]

허상이라기엔 이미 지금 AI들이 스케일 커지면서 나타난 능력들인데 ㅋㅋㅋ

[익명(175.120)]

이 논문은 모델 크기와 성능의 비례 관계를 반박하는 게 아니라 메트릭에 따라 모델 성능을 뻥튀기 할 수 있다는거임. 즉, 타사 서비스에 불리하고 자사 서비스에 유리한 메트릭으로 소비자를 현혹시킬 수 있고, 인간이 의도하지 않은 능력이 갑툭튀하지는 않는다고 봐야지