I discussed Q-transformers and Q-learning as one of the more promising areas of AI research on the

@FLIxrisk podcast last month.The news that OpenAI's breakthrough involves something called Q* (Q star) suggests it's related. Q-learning is a class of reinforcement learning and not new, however there's been recent progress in combining Q-learning with transformers and LLMs.

Tesla uses deep Q-learning for self-driving, for example. There's even speculation that Google's long-awaited Gemini model employs a version of it.Q* refers to the optimal action function. Finding Q* involves training an agent to take actions that maximize its cumulative reward given its environment.OpenAI has a team working on reasoning and planning, so it was inevitable that they'd pivot back to reinforcement learning. This could be what spooked the board, as all the scariest

@ESYudkowsky-style scenarios involve RL in some form or another.Q-learning is a "model free" approach to RL as it can work even if the environment is complex and randomly changing, rather than requiring a set of well-defined rules like Chess.

Q-learning is popular for single-agent games as, by default, it models other agents as simply features in its environment to navigate around, rather than as distinct agents with their own internal states. (Note this is also the basic definition of sociopathy.)If OpenAI has made major strides in giving their transformer models a Q to optimize for, that would explain what

@sama meant when he said today's "GPTs" (their quasi-agents) would soon look quaint.Finding Q* is equivalent to having the best possible Markov decision process. In other words, no matter what life throws your way, you always find a way to win.

@sama knows something about winning. His essay on "How To Be Successful" could even make for a great custom prompt


저는 인공지능 연구에서 가장 유망한 분야 중 하나로 Q-트랜스포머와 Q-러닝에 대해 논의했습니다.

@FLIxrisk

팟캐스트에서 논의했습니다.
OpenAI의 혁신에 Q*(Q star)라는 것이 포함되었다는 소식은 이와 관련이 있음을 시사합니다. Q-러닝은 강화 학습의 한 종류로 새로운 것은 아니지만, 최근 Q-러닝을 트랜스포머 및 LLM과 결합하는 데 있어 진전이 있었습니다. 예를 들어 Tesla는 자율 주행에 딥 Q러닝을 사용합니다. 구글이 오랫동안 기다려온 제미니 모델에도 이 기술이 적용될 것이라는 추측도 있습니다.
Q*는 최적의 행동 함수를 의미합니다. Q*를 찾으려면 에이전트가 주어진 환경에서 누적 보상을 극대화하는 행동을 취하도록 훈련해야 합니다.
OpenAI에는 추론과 계획을 담당하는 팀이 있기 때문에 강화 학습으로 다시 전환하는 것은 불가피했습니다. 이 점이 이사회를 놀라게 한 것일 수도 있습니다.

ESYudkowsky

-스타일의 시나리오에는 어떤 형태로든 RL이 포함되기 때문입니다.
Q러닝은 체스처럼 잘 정의된 일련의 규칙이 필요하지 않고 환경이 복잡하고 무작위로 변화하는 경우에도 작동할 수 있기 때문에 RL에 대한 '모델 프리' 접근 방식입니다. Q러닝은 기본적으로 다른 에이전트를 고유한 내부 상태를 가진 별개의 에이전트로 모델링하는 것이 아니라 단순히 탐색할 수 있는 환경의 기능으로 모델링하기 때문에 단일 에이전트 게임에 널리 사용됩니다. (이것은 소시오패스의 기본 정의이기도 합니다.)
OpenAI가 트랜스포머 모델에 최적화할 Q를 부여하는 데 큰 진전을 이루었다면, 다음과 같이 설명할 수 있습니다.

@sama가 오늘날의 "GPT"(준 에이전트)가 곧 기이하게 보일 것이라고 말한 것이 무슨 뜻인지 알 수 있습니다.

Q*를 찾는다는 것은 최상의 마르코프 의사 결정 프로세스를 갖는 것과 같습니다. 다시 말해, 인생에 어떤 일이 닥치더라도 항상 승리할 수 있는 방법을 찾을 수 있다는 뜻입니다.
@sama 는 승리에 대해 잘 알고 있습니다. "성공하는 방법"에 대한 그의 에세이는 훌륭한 맞춤 프롬프트가 될 수도 있습니다. 

https://twitter.com/hamandcheese/status/1727533848328651057