Sam Altman: GPT-4 will be remain text-only, will not use much more data, is not the 100T model rumored, and more info


GPT-4 is coming, but currently the focus is on coding (i.e. Codex) and that's also where the available compute is going. GPT-4 will be a text model (as opposed to multi-modal). It will not be much bigger than GPT-3, but it will use way more compute. People will be surprised how much better you can make models without making them bigger.

The progress will come from OpenAI working on all aspects of GPT (data, algos, fine-tuning, etc.). GPT-4 will likely be able to work with longer context and (possibly) be trained with a different loss function - OpenAI has "line of sight" for this. (Uncertain about "loss" function, I think he said something like "different value function", so this might be a misinterpretation.)

GPT-5 might be able to pass the Turing test. But probably not worth the effort.

100 trillion parameter model won't be GPT-4 and is far off. They are getting much more performance out of smaller models. Maybe they will never need such a big model.

It is not yet obvious how to train a model to do stuff on the internet and to think long on very difficult problems. A lot of current work is how to make it accurate and tell the truth."



GPT-4가 오고 있지만 현재 초점은 코딩 (즉, 코덱스)에 있으며 사용 가능한 계산이 진행되는 곳이기도합니다. GPT-4는 텍스트 모델이 됩니다(다중 모달과 는 반대로). 그것은 GPT-3보다 훨씬 크지 않을 것입니다, 하지만 방법을 더 많은 계산을 사용합니다. 사람들은 더 큰 만들지 않고 모델을 얼마나 잘 만들 수 있는지 놀랄 것입니다.

진행 은 GPT (데이터, 알고, 미세 조정 등)의 모든 측면에 작업 OpenAI에서 올 것이다. GPT-4는 더 긴 컨텍스트로 작업할 수 있으며 (아마도) 다른 손실 기능으로 훈련 될 수 있습니다 - OpenAI는 이를 위해 "시야"를 가지고 있습니다. ("손실"기능에 대한 불확실성, 나는 그가 "다른 가치 기능"과 같은 것을 말했다 생각, 그래서 이것은 오해가 될 수 있습니다.)

GPT-5튜링 테스트를 통과할 수 있습니다. 그러나 아마 노력할 만한 가치가 없을 것입니다.

100조 파라미터 모델은 GPT-4가 되지 않으며 멀리 떨어져 있습니다. 그들은 작은 모델에서 훨씬 더 많은 성능을 얻고있다. 어쩌면 그들은 그런 큰 모델이 필요하지 않을 것입니다.

그것은 인터넷에서 물건을 하고 매우 어려운 문제에 오래 생각하는 모델을 훈련하는 방법을 아직 명확하지 않다. 현재 많은 작업은 그것을 정확하게 하고 진실을 말하는 방법입니다."







샘 알트만이 
gpt 4 모델을 빠르게 낼 생각도 없는 것 같고, 심지어 100조개로 만들 생각도 없고, 파라미터도 무적권 늘리는 방식에 한계를 느껴하는게 맞는 것 같은데?
그리고 gpt 5는 튜링 테스트를 통과할 수 있을 거라고 보는데, 노력할만한 가치가 없다고 한거에서 의미 심장한듯...



그냥 파라미터 보다는 논리 회로(알고리즘) 그 자체가 엄청 중요하다고 느낀듯
하루 빨리 브레인 시뮬레이션이 가능해야 인공지능도 도약이 있을 것 같다 결국