[일반] 근데 현재 llm 구조에서 재귀개선이 가능하다면

[익명(111.91)]

스케일을 키워서 agi가 된 다음 사용자 응답에따라 재귀개선이 되버린다면 오히려 데이터셋에 오류생길거같은데 그리고 다른방식이라면 스케일로 생성된 agi가 재귀개선을 한다는건 자체적으로 합성 데이터를 생성한다는건데 이건 너무 과적합을 유도할거같긴하다

- dc official App

[익명(223.38)]

재귀개선은 자신이 직접 새 모델을 디자인하는거로 생각해야지

[익명(111.91)]

그렇다면 데이터기반 스케일 모델을 제작할텐데 agi급 모델에 사용된 데이터 이상의 더많은 데이터를 구할수있나 모델 자체적으로 - dc App

[익명(223.38)]

agi면 당연 직접 자율적 데이터 생성이 가능한데 당연히 데이터 생성도 직접해야지

[익명(111.91)]

그니까 그러면 존나 과적합 모델될거같다고 agi여도 합성데이터의 신뢰성을 보장 못할거같은데 그정도 되려면 asi정도 여야하지않을까 아니면 모든 벤치마크 에서 100퍼를 보여야할거같은데 - dc App

[익명(223.38)]

과적합이 안되게 모델 재설계하는것도 하겠지

[익명(223.38)]

강화학습 시절때에 비하면 지금은 1t도 과적합을 안일으키고 학습 성공하는데 너무 부정적인듯

[익명(111.91)]

아니 다른문제지 이미 agi인 스케일 모델에 학습된 데이터를 기반으로 생성된 합성데이터<<로 새로운 모델을 재귀적으로 만든다는건 생성되는 합성데이터의 구조가 유사하여 최종적으로 과적합을 일으킨다는 애기임 거기다가 지속적으로 사용자 입력을 통해 데이터를 받는다고 해도 거기서 발생하는 데이터 오염을 피할순 없을거같은데 - dc App

[익명(223.38)]

그건 지금의 문제일뿐임

[익명(223.38)]

당연히 현재 기준으론 네 말이 맞음 성공한 회사는 아직 없음

[NLP(straight1861)]

합성데이터 품질이 어디까지 가냐 일듯. 난 낙관적으로 생각해.

[익명(180.230)]

지금의 과적합이랑 agi가 재귀개선하는거랑 관련없다..