[일반] 근데 gpt3처럼 패러미터만 지금보다 엄청늘리면어케됌??

[익명(49.166)]

그러고보니 gpt3이후에 패러미터 막 1조개 10조개 이런 모델은 없네 연구자들 뭐하는거임

[익명(39.117)]

비용문제 - dc App

[익명(49.166)]

비용들어도 해야지 gpt3처럼 새로운기능 떡하니 나올지 어떻게알아

[익명(220.117)]

전기세 좆됨

[익명(1.239)]

파라미터를 늘리는 것도 좋지만 데이터 학습량을 늘리는 것도 중요하니까 동원할 수 있는 비용 내에서 적정 비중을 조율하는 거겠지. 돈을 퍼붓는다고 그에 맞춰 컴퓨팅 총량의 증가가 비용에 정비례하지도 않고 아까 다른글 댓글에서 말한 것처럼 당장 더 많은 돈을 퍼부어 무리하게 컴퓨터를 확장하는 것보다 차세대 칩 기술을 기다렸다가 구성하는게 더 합리적일 수 있고. 초거대 모델이 파운데이션 모델이라고 불리는 만큼 당장의 고수익 상용서비스가 된다기보다는 그 기반을 구축하는 실험적인 시도이니 투자결정이나 파라미터 확장의 비중 조절에 조심성이 있다고 봐야지

[익명(49.166)]

근데 gpt2에서도 그냥 파라미터만 늘렸는데 새로운기능이 생기지않았음?

[익명(49.166)]

무지성으로 파라미터늘리는 경쟁도있었던것으로암 네이버클로바 wudao2.0 이런것들

[익명(1.239)]

그리고 인간의 뇌가 초당 86조~100조 수준의 시냅스 연결망이 있지만 그 상당부분은 소뇌에 집중되어있고 고차원적 지능의 영역인 신피질의 비중은 그보다 적지. 물론 최근에는 고차원적 지능에서 신피질 이외의 다른 부분도 영향을 미친다는 연구도 있으니 신피질만이 고차원적 지능의 기능을 한다고는 못하지만. 그리고 신피질도 피질원주나 특정 기능을 주로 담당하는 모듈들로 이어져있는 것을 보면 무작정 파라미터 총량만 늘리기 보다는 일정량의 모듈별로 처리하는게 더 좋을지도 모름. 아직은 파라미터에 집착함으로서 발생하는 비용 증발을 압도할 정도로 질적 향상이나 수익성에 대한 확증이 없는데다, 다른기업들이 하는거 봐가면서 적당히 경쟁력을 유지하며 간보다가 컴퓨팅 비용이 감당가능해지면 더 다양하고 도전적인 시도를 해볼 수 있

[익명(1.239)]

겠지. 결국 너무 조급하게 움직여서 비용소모하고 힘빼서 정작 치열한 경쟁을 해야할때 빌빌대는 것보다는 적절한 때와 조건을 기다렸다가 밀어붙이는게 낫다는거임. 중국같은 경우는 그 비용을 감당할 수 있는 조직이, 미국에 비해서는 기술의 질적 발전에서 열세이기 때문에 양적인 우위라도 밀어붙여보는 것일테고

[익명(49.166)]

기업들이 패러미터 늘린다고질적향상있다는 보장이없으니 서로 눈치만보는중인가

[익명(1.239)]

질적향상이 있긴 있는데 무리한 비용소모로 인한 경쟁력 손실을 상회할 수 있을지 불확실하다는거임. 질적향상이 있고 최초의 100조 모델 달성이라는 스포트라이트와 단기 주가상승이 있겠지만 고작 2년도 안되는 시간동안 다른 기업은 훨씬 적은 비용으로 동일한 규모를 달성할 수 있고 그 동안 다른 연구로 질적향상을 추가한다면 장기적으로는 이쪽이 불리할 수 있지

[익명(1.239)]

상대기업은 자금을 축적해뒀다가 100조 모델이 성공하는 걸 보고난 뒤에 비용을 쏟아부어서 천조나 수경급 모델을 만들었는데 이쪽은 100조모델 무리하게 만든다고 자금소모했으면 설령 개발비용 자체는 주가상승 등으로 어느정도 회수했다고 해도 결과적으로 상대기업과의 격차는 벌어져버리는거지

[익명(121.167)]

그게불만이면 니가하세요 방구석에서 이래라저래라야