[📪정보] 다리오 아모데이: 우리의 추론모델은 다른 방식일 것이다.

[かみ(thank3468)]

저희는 머지않은 미래에 매우 훌륭한 모델들을 출시할 예정입니다. 구체적인 이름은 언급하지 않겠습니다.

추론 모델에 대해 말씀드리자면, 저희의 관점은 조금 다릅니다. 추론 모델 또는 테스트 시간 계산(test-time compute)이 마치 완전히 다른 방식인 것처럼 여겨지는 경향이 있는데, 저희는 그렇게 보지 않습니다. 저희의 관점은 모델이 생각하고, 자신의 사고를 반추하고, 궁극적으로 결과를 도출하는 능력 전체가 하나의 연속적인 스펙트럼이라는 것입니다. Sonnet 3.5를 사용해보시면, 가끔은 이미 어느 정도 그런 능력을 보여주기도 합니다. 

저희가 앞으로 보게 될 변화는 강화 학습(reinforcement learning)의 대규모 활용일 것입니다. 모델을 강화 학습으로 훈련시키면, 모델은 알아서 스스로 더 많이 생각하고 반영하게 됩니다.

(요즘 유행하고 있는) 추론이나 테스트 시간 계산 — 또는 그걸 뭐라고 부르든 — 은 완전히 새로운 방법론 같은 것이 아닙니다. 이는 결과에 기반한(outcome-based) 방식으로 모델을 더 큰 규모로 훈련시킬 때 자연스럽게 나타나는 창발적 속성(emergent property)에 더 가깝습니다. 저는 이런 접근법이 추론과 다른 작업들 사이를 연속적으로 보간하며, 추론을 모델이 수행하는 다른 모든 작업과 유연하게 결합하는 것으로 이어질 것이라고 생각합니다.

https://youtu.be/snkOMOjiVOk?si=Idva8I2vU3rC7-dd

[익명(175.209)]

머지않은 미래는 언제라는거

[익명(merge3772)]

출시좀

[수직(player5319)]

[익명(friendly5597)]

[ㅇㅇㅇㅇㅇ(lsh0320jpgpw)]

그치 연속적인 스펙트럼 본질은 그대로임 말 그대로 기능적 강화임

[익명(easily7989)]

gpt와 o 시리즈의 결합과 비슷한 방향성으로 보이는데, 소넷 3.5가 추론없는 모델 중에 가장 좋다보니까 기대된다

[이세이미야케(jkwarawara)]

[익명(fought5266)]

소넷이 이중추론이라고 많이들 얘기하던데 그 방식처럼 아예 추론을 수십개를 겹쳐서 그런 방식으로 하나보네

[익명(220.79)]

아모캣 신뢰가 안감.. 걍 묵언수행하면서 결과로 말하면 되는데 너무 오래걸린다