[일반] 데이터는 그렇다쳐도 파라미터는 왜 무한히못올림??

[익명(49.166)]

패러미터는 무한정 늘릴수있는데 연산딸려서 학습오래걸려서 못늘리는중?

[익명(124.59)]

학습시키는데 돈이 많이 들어서 그럼

[익명(125.191)]

한정된연산을 더 오래학습시키는데 쓸지 배치사이즈를 키우는데 쓸지 모델을 더 크게 만들어야할지 결정해야 함 당연히 연산이 늘면 크기도 더 쉽게 키울 수 있지

[익명(49.166)]

배치사이즈는 뭐임?

[익명(125.191)]

한 번 학습할때 들어가는 데이터양임. 예를들면 100개의 데이터가 있으면 그걸 한번에 다 학습하는게 아니라 한번 학습하는데 5개의 데이터 정도만 쓰는거임. 배치사이즈도 대체로 크면 성능이 더 좋아지는편인데 이거도 연산병목때문에 무작정 못 키움

[익명(49.166)]

1 오래학습 2 배치사이즈키우기 3 모델크게 이셋이 모두 성능증가되는데 한정된 연산을 어디다 투자해야할지 결정해야하고 연산크면 저3개늘릴수있어서 성능증가가 기대된다는 말?

[익명(125.191)]

ㅇㅇ 정확함 기억해 스케일링 법칙의 잠재력은 "무한하다"

[익명(49.166)]

잠재력은 무한한데 직접 연산늘려서 잠재력있는지 확인해봐야하는거네

[익명(125.191)]

이거 읽어보셈 그리고 명심하셈 "More is Different"
https://gall.dcinside.com/mgallery/board/view/?id=thesingularity&no=69884

[ㅇㅇㅇ(14.38)]

[익명(125.191)]

https://twitter.com/ilyasut/status/1507876108762423299

[익명(49.166)]

일리야 번역잘안되는데 뭐라하는것?

[익명(125.191)]

스스로 깨달음을 얻으셈
https://twitter.com/ilyasut/status/996798116593483776

[익명(49.166)]

알려 '줘'

[익명(thor2018)]

학습시간이 오래걸림. 지금도 몇개월씩 걸리는데 파라미터 더 늘이면 학습에만 1년 걸리면 그동안 새로운 고성능 모델 나오고 그럴듯. 그리고 진짜 문제는 따로 있는데, 파라미터 수를 늘이면 학습 시간 뿐 아니라 실행시간도 오래 걸림. 뭐 질문 하나 했더니 답변하는데 며칠씩 내지 1달 막 이래 걸리면.. 그래서 컴퓨팅 파워를 늘여야 하는거.

[익명(49.166)]

파라미터로 100일 학습시간 걸린다치면 파라미터 10배늘리고 연산10배 늘리면 학습시간100일 이라는소리?

[익명(121.184)]

ㄴ 당연하지. 근데 알고리즘도 개선되서 단순히 연산성능으로만 승부보는건 아님

[익명(49.164)]

메모리이슈도 있음