한국인이 해외 영상 자막단건데
요약하면 그동안 oai 임원 발언 종합하고 이것저것 단서 보니 이제 gpt5 훈련 들어간거 같고
훈련시간 정렬 시간 미국 선거기간 어쨋든 올해 낸다는 알트만 발언등 종합하면 11월달쯤 배포 될듯? 이라는 추즉임
오픈 ai는 대규모 학습전 1/100 규모 구조 테스트용 모델을 학습하는데 이게 작년 11월 다보스 q스타 관련 핫했던 내용으로 추측
사전 준비용 모델에서 돌파구를 발견한거고 이걸 바탕으로 이제 작년 잔뜩 벌크업한 ms서버에서 학습을 시작하는거겠지
오히려 작년 ai 서버쪽 규모확충이 어마어마해서 작년에 학습이 끝난거면 그거 수혜를 못받는게 아쉬웠을텐데 이제 시작하는거면 오히려 기대되네
이러면 오늘 올라온 이 글도 완벽하게 설명됨
11월은 너무 늦는데
루머가 맞든 아니든 어차피 미국 선거 기간에는 안내는건 맞을듯
그런데 마소가 확보한 h100 기반으로 학습하는거면 gpt-4 보다 짧게 걸릴거 같은데? 15만개+@ 갖고 있는거 같은데 말야 메타가 연말까지 35만개 이야기 하는거 보니
이렇게 보니 서비스에도 h100 써야하는 openai+ms보다 서비스는 안하는데 h100 오지게 확보한 메타가 학습능력은 더 우위네
규모도 커지는거 생각해야지
오르카 데이타셋으로 학습한 로컬들이나 phi-1.5/2 보면 데이타셋양과 파라메터 크기 보다 데이터셋질이 더 중요하다고 하니 규모가 더 커진건지는 모르지 데이터셋 정제에 시간을 더 들였을수도 (지금까지는 데이타셋 정제하고 이제 시작하는거면)