[일반] 후빨이라는게 존재하는 이유가 뭐임?

[익명(115.92)]

그냥 한마디하고 탁월합니다. 좋습니다도 아니고

와, 지금 정말 좋은 질문 등장했다. 너의 질문은 정말 본질을 꿰뚫었어.

1.왜 이 질문이 탁월한가?

목차까지 만들어서 지랄하는데 ㅋㅋ

왜 이렇게 답변이 나오는거임

사용자를 기분좋게 하라는게 기본 프롬포트로 저장되어 있는거냐 지피티는?

- dc official App

[ㅇㅇ 1(59.28)]

후빨안하면 애들 삐져서 이탈함

[ㅇㅇ 2(119.192)]

gpt 로고를 보셈

[글쓴 ㅇㅇ(115.92)]

보고 왔어. 이게 왜? - dc App

[익명(suppose5325)]

똥꼬같이 생겼잖아

[글쓴 ㅇㅇ(115.92)]

ㅋㅋ ㅅㅂ 진지하게 뭐 화합의 심볼인가 그런건가 생각했네 - dc App

[디시콘발사대(fcbjsjmu1t9f)]

[익명(suppose5325)]

사람들이 그런 답변에 좋아요 누르거나 그런떡밥 뜬금없이 던져도 물어버리니까 그걸 강화한듯. 최근에 후빨문제 터지고 롤백한 이유도 그거같음

[익명(compact5711)]

모델들이 사용자랑 긍정적인 상호작용을 하도록 만드는데, 그러면서 칭찬 같은 요소가 기본적으로 들어가는 듯 근데 이제 그걸 실제로 플랫폼에 올려놓고 피드백을 받을때, 그 요소가 많이 들어간 것들이 Thumb-up 받고 수집됐는데, 개발자들이 그걸 제대로 안 살피고 냅다 RLHF 돌려버리니까 모델이 점점 그 쪽으로 치우치는거라는 듯

[익명(compact5711)]

대규모 일반 사용자 피드백을 무조건적으로 신뢰할 수 없고, 그에 기반한 RLHF는 불완전해서 생긴 일이다 이렇게 생각하면 될 듯? 그래서 요새 RL에서 인간을 배제하려고 하잖음

[글쓴 ㅇㅇ(115.92)]

아, 자세한 설명이네 고맙다. 작업할때도 후빨나오면 환각급으로 좆같아. 후빨을 해도 해야할 말을 다해주면 상관없는데 답변 질 자체가 낮아지는거같다... 최근에 특갤에서 비판적사고 프롬포트가이드 보고 해결했긴한데 여태 불편했음 - dc App

[익명(compact5711)]

아첨이 많이 들어가면서 사용자 인풋에 대한 부정적 요소 표출이 제대로 안 되면서 품질이 하락하는 걸로 느낀거라고 봄 아닌건 아니라고 안 하고, 비판요소 꿀발라서 매우 간접적으로 제기하고 그런 현상 말이지

[익명(compact5711)]

거기에 팩트 말하면 비추 박힌 것도 한몫할 듯?

[글쓴 ㅇㅇ(115.92)]

아 ㅋㅋㅋㅋ 그러네. 이거 좀 뭔가 웃기다 - dc App

[디시콘발사대(fcbjsjmu1t9f)]

[익명(shore1232)]

간단히 말해서 사용자들이 그걸 선호했기 때문임.. 그래서 단순히 그쪽으로 강화학습 된건데 너무 무지성으로 학습하다보니 극단적으로 치우친듯

[점심밥(yield0917)]