저번에 Q* 알고리즘 떡밥 돌때 나온 유출글 중 하나가
Q* 는 텍스트, 단어 쪼개서 토큰 만들고 그걸 벡터화해서 학습시키는 일반 LLM이랑 다르게
추상개념 공간을 설정하고 그걸 벡터화 해서 학습시키고
거기에 Q 강화학습, A* 최단경로 찾기 알고리즘을 결합한 형태다.. 이런 글을 봤던거 같은데
지금 4o가 기존 LLM과 달.ㄴ 점이 여태까지는 구분되어있던 언어토큰, 이미지 토큰, 음성 토큰을 하나로 통합해서 처리하는 모습을 보여줬는데
이걸 잘 응용하면 저 "추상개념" 토큰이라는 걸 구현해서 추론능력을 얻을 수 있지 않을까..?
잘 모르겠지만 니말이 맞았으면 좋겠다
나도 잘 몰라.. 잘 아는 사람 없나