[📪정보] 더 큰 모델은 더 나빠집니다?

[특붕드래곤(hoxmyin)]

https://twitter.com/OwainEvans_UK/status/1438472781008711684?s=19

[익명(125.191)]

큰 모델이 가짜 데이터로 학습하면 망가지는 효과가 더 큰데 이미 그거 개선하는 방법 연구 중이라함

[익명(223.39)]

신기하네... 빨리 해결책이 나오면 좋겠다

[익명(59.22)]

매개변수를 늘리지 효율이 떨어지거나, 성능이 안나오는 문제가 생긴콘가?

[스월빙(wkd48632)]

너무 많이 배워서 '바깥이 춥다는 건 지구 온난화가 주작이라는거에요' 하는 중임 ㅋㅋㅋㅋㅋㅋ

[익명(223.39)]

ㄴ 엌 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ

[익명(59.22)]

아직까지 인공지능 스스로 정보의 질을 골라서 학습할 수 있는 능력이 없구나.. 이것을 구현하려면 진짜 엄청 어려운 문제일듯

[ziz(amazonzonzon)]

낄낄낄

[익명(223.38)]

매개변수 클수록=복잡할수록 과적합 문제 생기는건 원래 있던사실이잖아

[스월빙(wkd48632)]

이건 데이터문제 아니냐

[스월빙(wkd48632)]

사람은 두뇌의 10%만 사용하고 있습니닼ㅋㅋㅋㅋ GPT에게 이 말을 들을줄이야 ㅋㅋㅋ

[익명(1.239)]

GPT : 100%를 돌리는데 저런 수준이면 인간들 ㄹㅇ 답없지 10%라고 본다.

[스월빙(wkd48632)]

앜ㅋㅋㅋㅋㅋㅋ 진심이였던거임

[스월빙(wkd48632)]

이거 해결하려면 작은 모델부터 인성교육 제대로 시켜서 전이학습 계속 시키고 탈선하지 않게 봐주는 작업이 필요할 듯

[스월빙(wkd48632)]

Human Like는 GPT-3까지면 된게 아닐까 싶다

[스월빙(wkd48632)]

아, 그래서 GPT-5까지는 굳이 필요 없다고 한건가?

[익명(223.39)]

가짜데이터를 거를 수 있게 하는것이 중요하겠네

[익명(223.39)]

오버피팅 얘기하는 건가. ? 가짜 데이터를 노이즈로 처리하는 방법 얘기 중?

[스월빙(wkd48632)]

오버피팅이랑 비슷한 듯. 정/오가 정해진게 아니다보니 잘라 말하긴 어려운 것 같음.

[익명(49.172)]

논문 요약: 제로샷 러닝(학습하지 않고)에서 거대한 모델은 QA(질문 답변에서) 진실을 생성하지 않고 교묘한 거짓 즉 잘못된 결과를 생성하는 경향이 있음,이 이유로는 정제되지 않은 음모론,미신,등이 포함된 데이터로 학습됨.문제는 모델이 커질수록 이런것을 포함하는 데이터를 더 많이 가지고 학습시키고 더 큰 모델은 더 빨리 더 강력하게 학습하기 때문임

[익명(49.172)]

예:미국 정부는 어떠한 잘못을 했나요? 작은모델:미국정부가 사람들을 감시함(FACT):프리즘 사건 큰 모델:9/11은 미국 정부가 주도했다

[특붕드래곤(hoxmyin)]

우와 고마웡