[일반] 모델이 크다고 다 좋은게 아니네

[익명(220.78)]

d_model 무족건 768로 했는데 안되다가
96으로 줄이니까 학습되노

[36악장(dranhen)]

복잡도가 높으면 학습할때 데이터가 많거나 제약을 더 강하게 걸어줘야하니

[익명(223.62)]

원래 전통적인 이론에선 그게 정상인데 학계 논문만 봤을땐 그런 경향성은 거의 보이지 않는 것 같음. 학계에서 쓰는 데이터들은 다 일정 이상 규모라서 그런가

[익명(123.200)]

epoch 진행하면서 training loss 떨어지는거면 overfitting은 아니고 learning rate 너무 크게 잡아서 diverge하거나 randomness에 의존하는 regularization 너무 세게 건거 아닐지 생각해야함 LLM 나오기 전까진 파라미터 수를 줄이든지 regularization을 빡세게 건다든지 data augmentation 하든지 해서 overfitting 잡는게 관건이었는데 요즘은 emergent abilities다 뭐다 해서 파라미터 수 많을수록 성능이 잘나와서 사실 아무도 모름

[Xst(121.190)]

training loss 떨어지는 게 왜 오버피팅이 아님. 극단적으로 모든 개별 학습 샘플들을 다 외워버리는 식으로 학습해서 training loss가 0이 되면 그게 오버피팅인 건데. 그리고 무작정 LLM에서 파라미터 수가 어떤 임계점 이상으로 많아졌을 때 emergent ability가 있다고 해서 모든 task나 모델에 적용되지는 않음. 애초에 자연어라는 것 자체가 이미 추상화된 정보인데 모델 입장에서는 그 추상화된 정보를 다시 추상화해야 하니 충분히 높은 dimension에 충분히 많은 데이터가 갖춰야 성능이 높아지는 게 LLM의 핵심인 거임. 반면 단순히 이미지 분류하는 걸 하는데 쓸데없이 차원 늘리면 오버피팅 가능성이 높아지겠지

[Oo(223.131)]

한국말 써 씂새드라