[일반] 정렬 그냥 역전파로 케이스 때려박으면 안되나?

[NEMO(winner0962)]

역전파를 쓰는이유가

입력(상황)에 대한 출력(대응)을 많이 학습시키면

신경망이 그 관계를 파악할줄 알게된다는거잖아

그럼 이럴땐 이러고 저럴땐 저러는거란다 이렇게

많은 상황에대한 대응을 역전파로 학습시키면

결국 궁극적으로 인류가 바라는 이상적인 인공지능의 모습을

신경망이 이해할수 있게되는거 아님?

[익명(219.249)]

당연히 모든 학습은 역전파로 함 지금 존재하는 모든 정렬 방식도 역전파임

[NEMO(winner0962)]

내가 하고싶은말은 역전파로 하니까 케이스만 많이 때려박으면 인간이 원하는 추상적인 개념을 이해하고 정렬이 제대로 되는거 아니냐는말임

[익명(219.249)]

그게 바로 지금 하는 방식이라고

[NEMO(winner0962)]

그렇군..

[익명(219.249)]

human preference 데이터를 걍 때려박고 llm이 알아서 뭐가 더 인간이 원하는 답변인지 추상적인 개념을 알아서 학습하는 방식임

[익명(219.249)]

근데 현재 모든 정렬 알고리즘의 문제점은 정렬을 하고나면 여기에 자꾸 오버피팅돼서 기존 성능이 떨어짐 gpt4 성능하락도 이거때문이고. 이걸 개선하는게 학계에서 현재진행형 핫토픽임

[NEMO(winner0962)]

오 그렇구나

[익명(lsh0320jpgpw)]

옹