[일반] 매개변수의 양보다 알고리즘과 최적화가 더 중요함.

[ㅁㅁ(121.184)]

최근에 GPT-3 최고등급 쓰는 AI 던전하고 GPT-j쓰는 노벨 AI하고 비교해봤을 때, 둘의 차이가 별로 차이가 없다는게 사람들 체감임. 궁금하면 레딧 노벨 ai 들어가서 보면 됨.

gpt-3 최고등급인 다빈치가 1750억개, GPT-j-6b쓰는 노벨 AI가 60억개 매개변수임.

[익명(1.239)]

둘 다 중요한데 효율 최적화는 범용적으로 좋은 효과를 내기가 쉽지 않고 진전 속도도 느리며 높은 수준의 전문가를 필요로함. 반면 규모의 확장은 비싸지만 쉽고 전반적인 성능 향상이 가능하고 최적화 수준이 비슷하다면 규모가 큰 쪽이 더 좋지. 따라서 자본이 충분하다면 규모확장을 우선순위로 두고 틈틈이 최적화 수준을 업그레이드 하겠지

[익명(183.96)]

네이버에서 파라미터 늘렸더니 유의미한 결과 있다고 하지 않음? - dc App

[익명(1.239)]

규모를 늘리면 질적인 진전이 있다는 건 이미 확실한 사실임. 그걸로 AGI가 가능하다는 게 불확실한거일 뿐

[익명(183.96)]

그니까 본문에서 차이가 별로 없다는 건 틀린거라는 거지? - dc App

[익명(1.239)]

틀린건 아니지. 규모를 늘리면 질적으로 좋아진다는 것도 사실이고, 효율 최적화가 성공만 한다면야 더 적은 매개변수로도 엇비슷한 성능을 낼 수도 있지. 하지만 최적화라는 건 결국 사이즈 한계 내에서 최적의 성능을 발휘할 뿐이니 규모를 계속 늘려나갈 수 있는 쪽에 이길 수는 없지. 근데 이건 AI분야 뿐만 아니라 그냥 상식 아니냐?

[익명(183.96)]

ㅇㅎ 본문만 보면 파라미터의 양이 의미가 없다는 것처럼 보여서 - dc App

[익명(221.156)]

규모를 두배 늘린다고 성능도 두배 늘어나는게 아니라서 알파고도 단일컴퓨터에서 돌아가는 버전과 병렬연산으로 돌아가는 버전의 성능 차이가 그렇게 크게나지는 않았음. 성능적으로 병렬연산으로 돌아가는게 질적으로 향상되었지만.. 그렇게 차이가 어마어마한 수준이 아니라는 거

[익명(1.239)]

최적화라는게 굉장히 어려운 이유가 전문성이 필요한 것도 있지만 최적화에는 중요도를 따져서 중요도가 낮은 것들을 줄이고 버리는 과정이 따르는데, 문제는 중요도라는게 추구하는 방향에 따라 다르다는 거지. 추구하는 요소가 여러가지일 경우 무엇을 강화하고 무엇을 희생할지 풀기 어려운 딜레마도 많아지지. 아무리 머리가 좋은 사람도 이런 문제를 푸는데는 상당한 시행착오를 거치거나 분석하고 비교할만한 전례들이 필요하지 그래서 최적화 버전은 기술발전의 후발주자지 선구자가 못되는거임. 또 나도 말 잘못했는데, 상식적으로는 규모 증대가 항상 좋지는 않지 근데 AI분야에서 트랜스포머 같은 확장성 좋은 모델이 나옴으로써, 더 큰 것이 항상 더 좋다는게 확인되었으니 규모 증가에 다들 뛰어드는 초거대 AI시대가 열린거지.

[희긔(cdjh208)]

Nai 좀 써봤는데 나는 NAi가 AI던전에 비해서 Ai 능지 후달리는거 체감 많이되더라.

[희긔(cdjh208)]

60억개 1750억개라는 어마어마한 파라미터차이 치고는 괜찮은건 사실임