GPT-5 훈련할 때 GPT-4에 썼던 학습데이터에서 추가로 학습시키는 걸까
아니면 처음부터 다시 모든 학습 데이터를 크롤링하는 걸까?
그리고 학습하는데 왜 이렇게 오래 걸림?
쟤네들은 자체 크롤링 툴(GPTBot)이 robots.txt에서 차단한 사이트빼고
다 크롤링하는데 사람이 데이터를 하나하나 다 거르는 건가?
근데 사람보다 GPT-4시키는 게 더 정확하지 않음? 자연어 처리 모델의
첫 목적이 텍스트 분류였는데? 쟤네들이 GPU가 부족한 것도 아니고
학습데이터 넣고 돌리면 되는 거 아님? 그럼 진짜로 GPT 모델 한 번 학습시키는데
3달 넘게 컴퓨터를 돌려야 되는거임?
애초에 학습데이터를 늘리는 방향이 맞는거임? 요즘에는 RAG기반으로 하는 게
정석이고 인간이 기본적인 데이터만 가지고 추가 데이터는 책, 인터넷 같은 데서
얻는 것처럼 얀 르쿤 말대로 아키텍쳐를 좋게 해야 되는거 아님?
학습을 위해 컴퓨터를 돌리는게 오래걸리는거 일걸? 예를 들어 10개층으로 구성된 100개의 매개변수가 있고, input 노드가 한 10개이면 데이터 한 덩이 돌리는데 앞으로 1000번 정도 계산이 필요하고 뒤로 1000번 정도 계산이 필여한걸로 알고있음 근데 데이터가 ㅈㄴ많으니까 계산량도 ㅈㄴ 많아지고 시간도 오래걸리는거
그리고 좋은 모델일 수록 매개변수가 커지고 같은양의 데이터를 돌려도 더 오래걸림. 내가 예를 든건 매개변수가 100개지만 gpt5정도 되면 10조개는 되지 않을까. 계산량이 상상도 안됨 아무리 gpu 병렬계산이지만