OpenAI의 획기적인 성과에 Q*(Q star)라는 것이 포함되었다는 소식은 이와 관련이 있음을 시사합니다. Q-러닝은 강화 학습의 한 종류로 새로운 것은 아니지만, 최근 Q-러닝을 트랜스포머 및 LLM과 결합하는 데 있어 진전이 있었습니다. 예를 들어 Tesla는 자율 주행에 딥 Q러닝을 사용합니다. 구글이 오랫동안 기다려온 제미니 모델에도 이 기술이 적용될 것이라는 추측도 있습니다.

Q*는 최적의 행동 함수를 의미합니다. Q*를 찾으려면 에이전트가 주어진 환경에서 누적 보상을 극대화하는 행동을 취하도록 훈련해야 합니다.

OpenAI에는 추론과 계획을 담당하는 팀이 있기 때문에 강화 학습으로 다시 전환하는 것은 불가피했습니다. 이 점이 이사회를 놀라게 한 것일 수도 있습니다. 스타일의 시나리오에는 어떤 형태로든 RL이 포함되기 때문입니다.

Q러닝은 체스처럼 잘 정의된 일련의 규칙이 필요하지 않고 환경이 복잡하고 무작위로 변화하는 경우에도 작동할 수 있기 때문에 RL에 대한 '모델 프리' 접근 방식입니다. Q러닝은 기본적으로 다른 에이전트를 고유한 내부 상태를 가진 별개의 에이전트로 모델링하는 것이 아니라 단순히 탐색할 수 있는 환경의 기능으로 모델링하기 때문에 단일 에이전트 게임에 널리 사용됩니다.

OpenAI가 트랜스포머 모델에 최적화를 위한 Q를 부여하는 데 큰 진전을 이루었다면, 이는 알트만이 오늘날의 "GPT"(준 에이전트)가 곧 기이하게 보일 것이라고 말한 것이 무슨 뜻인지 알 수 있습니다.

Q*를 찾는다는 것은 최상의 마르코프 의사 결정 프로세스를 갖는 것과 같습니다. 다시 말해, 인생에 어떤 일이 닥치더라도 항상 승리할 수 있는 방법을 찾을 수 있다는 뜻입니다.