새롭고 좋은 유효한 데이터를 계속 넣어주면 성능이 계속 좋아질 수 있다
하지만 유효한 데이터가 더없으면 gpu를 5억장으로 늘려도 별 성능 향상 없을것
그냥 데이터 넣은대로 좋아지고 유효한 데이터 더 못 넣으면 변화가 없음
지금 일단 인간데이터는 다먹은 상태인데
여기서 창발성있는 새로운 데이터를 AI가 스스로 원활하게 만들어내지 못하니까 로그스케일 그래프가 그려질 수밖에 효율 감소
GPU규모는 데이터를 담는 파라미터를 가동하기 위한 하드웨어 컴퓨팅 파워 정도라 봐야
작년에 돌았던 스케일 이즈 올 유 니드의 의미는 와전된게 맞음 스케일 법칙이 그런 마법은 아님
그때는 무작정 gpu 대수 늘리고 아무 데이터나 계속 때려 박으면 특이점 도달한다는 식으로 말하는 특붕이들 많았음
사람으로쳐도 타고난 지능과 후천적인 환경에 별다른 변화가 없는데 밥만 오지게 먹인다고 안좋아지지
이제 가지고 있는 걸로 새로운걸 창의할 수 있는 방법을 구현해야
사실상 스케일 법칙은 임푸르부드 데이타 이즈 올 유 니드임 여기에 이걸 굴리기 위해 적절한 컴퓨팅 파워 GPU가 필요
이제 다들 알고있잔아~
고품질 데이터에 거대 스케일= 좋은 성능
해당 댓글은 삭제되었습니다.
그거 퍼블렉씨티발 짤인거 같은데 그게 진짜면 고품질 합성데이터에 전적으로 의지해서 이정도라는건데.......
ㄴ성능은 빅브레인 나오고 판단하면 될듯 그런데 나 전문가 아닌데 만약 ai가 만든데이터가 쓸만한 수준까지 온거면 계속 먹이고, 더 나아진 ai로 또만들어서 또먹이고 무한 반복하면 데이터 문제 해결되는거 아닌지 ㄷㄷ
지금 이미 그러고 있어 근데 그게 성능은 조금씩 좋아질지언정 그 이후는 모르겠다는거 아모데이의 2026 2027 agi가 맞다면 그렇게해서 뭔가 엄청난게 창발되서 범용지능이 생긴다는 뜻인데 아직 가시적으로는 잘 모르겠음
글쿤