https://youtu.be/Sq1QZB5baNw?si=gU0Tp00f3N8Op0Qk&t=51

Figure Status Update - OpenAI Speech-to-Speech ReasoningFigure Status Update - OpenAI Speech-to-Speech Reasoningyoutu.be



여기서


"그래서 제가 그 사과를 드렸습니다. 왜냐하면 그게 유일한, 어... 먹을 수 있는 음식이기 때문입니다. 테이블 위에 있는 것 중 말입니다."



이 '어...' 부분을 스피커로 출력하는 동안 언어모델 내부에서는 Quiet-Star와 같은 메타토큰(생각)을 따로 메모리 내에서 출력하고 있었다....?



Quiet-Star에서는 '생각 시작'과 '생각 중단'이 있고, 생각이 필요한 부분 외에는 그냥 일반 기존 토큰 출력 방식으로 하다가



기존 학습 과정에서 터득한 노하우로 '생각이 필요할 것 같은 부분'에서 '생각 시작'을 하고 메타토큰을 출력한 후 실제 다음 토큰을 예측해서 출력한다며..



이게 OAI에서 사용하는 Q-Star 알고리즘과 흡사하거나 같다면...



저 이번 피규어 영상에서 00:51 부근에서 '어...' 하고 멈추고 나서 자기 자신이 왜 그 사과를 건넬 수밖에 없었는지를 메타토큰으로서 생각하고 있었던 거 아니냐...?



미쳤다!!!



끝났다. 얘들아 지금까지 참 고생 많았다... ㅠㅠㅠㅜ