심심해서 가져옴

LLM: 멍청한 다음 단어 예측자들만이 아니라 그들의 내면 세계관

GPT-4에는 1.8T 파라미터가 없고 그 미만입니다. 하지만 GPT-5에는 지미 애플스와 같은 사람들에 따르면 125T 파라미터가 있습니다(얼마 전에 그렇게 말했고 2022년 10월에 훈련을 마쳤다고 말했습니다. 하지만 10월은 내가 들은 것을 바탕으로 12월이라고 생각했지만 나를 놀라게 했습니다.) 및 다른 사람들은 분명히 원시 컴퓨팅 현명함으로 지금도 100T 파라미터 모델을 훈련시킬 수 있는 것은 아직 얼마 남지 않았지만 훨씬 향상된 컴퓨팅 효율성으로 이를 달성할 수 있었습니다.

물론 저, 지미 애플스 및 다른 사람들이 틀릴 수 있지만 비교적 빨리 찾을 수 있을 것이라고 확신합니다. 그리고 출시 측면에서 OAI가 정확히 무엇을 할 계획인지 확신할 수 없지만 GPT-5가 2024년 중반에 출시될 가능성이 있다고 생각합니다. 그 이전이나 이후에 어떤 것도 알지 못하기 때문에 제미니가 출시되면서 고비가 완전히 출시될 수 있지만 다른 출시 날짜에 대해서는 완전히 확신할 수 없습니다. 그리고 아라키스, 또는 그들이 GPT-5라고 부르는 것이 단순히 모델이 아니라 시스템에 대한 더 나은 설명이 될 것입니다.

고비는 멀티모달리티에 더 중점을 둔 모델로 GPT-5일 수 있지만 내가 아는 한 100배는 아닙니다. 아라키스는 내가 더 친숙한 모델이지만 직접 가지고 플레이한 것은 아니지만 GPT-5의 후보가 될 가능성이 훨씬 높으며 100배의 GPT-4입니다. 하지만 GPT-5가 2024년 중반, 아마도 2024년 3분기 초에 출시될 것이라고 꽤 확신하기 때문에 너무 오래 기다릴 필요가 없습니다. 그리고 고비가 GPT-4.5 종류의 모델에 가깝다고 추측해야 한다면 어떻게 출시할 계획인지 완전히 확신할 수 없습니다.

그리고 아라키스는 AGI에 대한 알트만의 정의를 "양자중력을 해결하는 것"으로 만족시키지는 못하지만, 제가 아는 한 그것은 여러 분야에서 인간의 전문가 수준입니다. 전부는 아니지만, 훨씬 덜 일반적인 분야는 그렇지 않지만, 여전히 매우 훌륭합니다




소프트뱅크 CEO, 인공 일반지능 10년 안에 나올 것 | CNN 비즈니스

슈퍼 인텔리전스 ?를 의미합니까? 하지만 슈퍼 인텔리전스가 10년 이내에 도착한다는 O OpenAI의 의견에 동의합니다.




GPT-5가 이미 훈련을 마쳤다는 소문에 대한 생각들

Jimmy Apples는 OpenAI가 10월에 125T 매개 변수 GPT-5 모델 교육을 마쳤다고 말했습니다(GPT-5라고 추측할 수 있었지만 아라키스로 알고 있습니다). 제 말은 12월에 끝났을 수도 있다고 생각했지만 10월은 조금 놀라웠습니다. 매우 유능한 모델입니다. 내부적으로 OpenAI의 GPT-5 목표는 ~100x GPT-4였으며 잘 해냈습니다. 내부 개발에도 사용하고 있습니다(GPT-3.5-터보가 덕분에 방향을 조금 틀었습니다. 대부분의 사람들이 터보가 매우 컴퓨팅 효율적이라는 것을 알고 있다고 확신합니다 ?. 혼자서 그런 일을 할 수 있는 것이 아니라 평균적인 O OpenAI employee가 아라키스보다 더 나은 ML 개발자이기 때문에 일종의 센타우르로 일하는 것입니다.

또한 GPT-5 레벨 AI 대신 멀티모달리티에 훨씬 더 중점을 둔 고비에서는 GPT-4.5 모델의 청구서에 더 맞지만, 나는 거기서 매우 틀릴 수 있습니다. 그들은 실제 경쟁이 발생할 때까지 아라키스를 비밀로 할 수도 있습니다 ㅋㅋㅋ. 또한 OpenAI는 순수 원시 컴퓨팅이 아닌 향상된 컴퓨팅 효율성을 통해 이러한 종류의 빠른 개선을 달성할 수 있다는 점을 지적할 필요가 있습니다.

또한 아무도 저를 신뢰할 수 있다고 생각하지 않을 것입니다. 제가 한 것은 실제로 발생한 9월 출시에 대해 언급한 것뿐입니다(GPT-4V, DALE 및 TTS). OpenAI가 무엇을 멀티모달로 출시하는지 정확히 알지 못했습니다. 하지만 시간이 결국에는 말해줄 것이라고 말하고 싶으므로 저를 믿지 마십시오. 1년 전에 OpenAI가 있었던 곳에 대한 가능성을 고려하십시오. https://twitter.com/AISafetyMemes/status/1708452173602820229

GPT-4가 (GPT-4가 출시되기 전에) 100T 파라미터 모델이라는 소문은 렉스 프리드먼 팟캐스트 중 한 곳에서 오해를 받아 인간의 뇌는 100조 개의 시냅스를 가지고 있다는 추정치에 따라 이번에는 지미 애플스와 다른 사람들이 이렇게 말했습니다.

마지막으로, 아라키스는 단순한 모델이 아니라 시스템이라고 생각합니다

- 2025 AGI let’s go -