Gpt번역



“요즘 모델들을 보면서 가장 헷갈리는 지점 중 하나는 이거다.

‘왜 평가에서는 그렇게 잘 나오는데, 현실에서의 경제적 영향은 그에 한참 못 미치지?’라는 점이다.


평가 지표들을 보면 솔직히 꽤 어려운 평가들이다.

그런데 실제 영향력은 극적으로 뒤처지고 있다.


여기에 대한 가능한 설명이 하나 있다.

예전에는 프리트레이닝을 할 때 어떤 데이터를 써야 하는지가 문제였지만, 답은 간단했다.

**‘있는 모든 데이터’**를 쓰면 됐다.

특정 데이터냐 다른 데이터냐를 고민할 필요가 없었다.


하지만 RL(강화학습)로 훈련할 때는 다르다.

사람들은 이렇게 말한다.

‘이 작업에는 이런 종류의 RL이 필요하고, 저 작업에는 저런 종류의 RL이 필요하다.’


그리고 이렇게 생각하게 된다.

‘모델을 출시할 때 정말 잘했으면 좋겠고, 평가 점수도 멋지게 나오길 원한다.

그렇다면 어떤 RL을 해야 이 작업에서 점수가 올라갈까?’


여기에 모델의 일반화 능력이 실제로는 충분하지 않다는 사실이 더해지면,

우리가 지금 보고 있는 현상—즉 평가 성과와 실제 세계 성능의 괴리—를 상당 부분 설명할 수 있게 된다.”



https://x.com/dwarkesh_sp/status/1993450075616690474?s=20