https://m.dcinside.com/board/thesingularity/364814?page=1&recommend=1&s_pos=-367247&s_type=subject_m&serval=%EC%95%84%EB%9D%BC%ED%82%A4%EC%8A%A4오픈AI는 아라키스가 제대로 제대로 작동하지 않아 작업을 중단함https://www.theinformation.com/articles/openai-dropped-work-on-new-arrakis-ai-model-in-rare-setback OpenAI Droppm.dcinside.com
인간과 맞먹는 125조 매개변수라는 아라키스도 비효율적이라고 폐기했는데
스케일을 10배 100배 늘려도 성능 체감폭이 그에 정비례하지는 않는다고 봐야 할듯
gpt4나 잼민이, 그록, 클로드, 아마존llm등을 보면 서비스를 제공하기 위한 최적의 가성비는 수천억~ 수조 매개변수로 보임
오아이가 자율 에이전트나 다른 부가기능에 초점을 맞추는 것도 모델 자체의 극적인 성능 향상을 기대하기 어려워서 일수도
AI가 삶을 개선해 주겠지만, AGI는 안 올 것 같더라. 근데 나름 살만해서 그냥 이정도로 만족하기로 함. 역노화나 와라
비트넷 적용되면 해결됨
근데 스타게이트 보면 스케일 엄청 키운거 아닌가? 아라키스랑 gpt5 겪으면서 이미 돌파구 파악한듯
루머는 루머로 받아들이셈
스타게이트 루머임?
더인포메이션 내부 관계자 카더라 피셜이셈
ㄹㅇ ㅋㅋ 알트만한테 들었다더라, 마이크로소프트 기밀 문서 봤다더라 하는데 자세한 출처는 안알려줌 ㅋㅋ
스케일링에 제동을 걸 수 있는 요소는 전력 소모와 하드웨어, 데이터 부족이고 성능은 아닐 확률이 대단히 높음. 친칠라를 포함해서 현재까지 나온 대부분의 관습적 스케일링 법칙들은 데이터 부족을 지적하는 데 사용되고 있지만, 바꿔 말하면 쏟아붓는대로 성능이 올라간다는 내용임
연구실 내용을 직접 들여다 볼 수 없는 시점에서는 뭐라 말하든 소설 쓰는 거긴 한데, 1B 규모 SLM부터 다양한 규모의 LLM까지 스케일링 법칙이 일관되게 '관찰'되고 있는데 극대규모에서 그걸 부정한다는 건 현시점에선 설득력이 없음
2년마다 학습비용이 10배씩 늘어나서 2035년이면 전세계 GDP를 뛰어넘을거라 하던데, 스케일이 얼마나 커지면 AGI에 도달할 수 있을거라 생각해?
난 AI분야에 대해서는 연구원도 대학원생도 아닌데 그런 식으로 예언을 할 수는 없음
스케일링 법칙이 일부 능력에만 적용되는 거라고 함. "언어 예측 과제의 데이터 양이 늘어날수록 LLM의 형식적 언어 능력은 극적으로 향상되는 반면, 기능적 언어 능력의 개선은 그만큼 일관되지 않아, LLM 개발자들은 이제 단순한 확장에서 벗어나 관심 행동을 겨냥한 전문적인 방법(예: 인간 피드백에 의한 강화학습(RLHF))이나 LLM과 외부 전문 모듈의 결합("증강 언어 모델"이라 불리는)으로 선회하고 있다."
언어영역은 이미 인간 수준이상이고 다른 영역 모듈 결합도 내년 늦어도 26년이면 끝남. 이제 AI 가 각 모듈을 상황에 따라 잘 이용하고 추론 능력을 어떻게 잘 기르냐에 따라 여러 난제들이 해결될거임...
그야 LLM은 '대형언어모델'이니까.. 난 LLM한테 추론 능력은 보너스라고 생각함. LLM에 RL 결합하는 건 딥마인드에서 여러 번 해봤던 걸로 아는데 잘 됐는진 모르겠고, 멀티모달로 나아가는 것도 진작에 진행되고 있던 방향임
스케일은 단순히 패러미터 수를 뜻하는 게 아님 스케일업을 통해 비용은 더 싸질 수 있음