CoT를 100배, 1000배로 압축해서 훨씬 더 많은 내용을 인코딩할 수 있는 방법이 필요해
택스트, 이미지, 소리 멀티모달을 이뤄냈듯이 이젠 "생각"도 하나의 모달리티로 포함시켜야 한다
문제는 생각이라는 걸 학습 데이터로 생성할 방법이 전무하다는 건데 RL 적용하면 어떻게든 되겠지
택스트, 이미지, 소리 멀티모달을 이뤄냈듯이 이젠 "생각"도 하나의 모달리티로 포함시켜야 한다
문제는 생각이라는 걸 학습 데이터로 생성할 방법이 전무하다는 건데 RL 적용하면 어떻게든 되겠지
RL은 트랜스포머보다 더욱 능력이 한정적임. 둘 다 CoT가 불가능한것도 똑같고
OAI 내부적으로 생각에대한 모달리티 이미 잇을듯 ㄷㄷ