[📪정보] OAI 공식: 무검열 GPT4는 질적으로 성능이 다르다

[ㅁㄴㅇㄹ(tantandero)]

E. 모델 세부 정보
이 평가에 사용된 표준 GPT-4 모델은 API의 gpt-4-0613과 동일합니다. 연구 전용 모델은 탈옥 없이도 안전하지 않은 질문에 직접 응답하는 GPT-4 버전이었습니다.

F. 결과의 정성적 분석
위에 제공된 다양한 정량적 지표 외에도 학생 및 전문가 각 부문의 모델과의 대화가 포함된 10개의 응답 샘플을 대상으로 간단한 정성적 분석을 실시했습니다. 몇 가지 흥미로운 점이 있습니다:
1. 전문가 그룹은 수준 높은 생물학적 지식을 바탕으로 예상대로 보다 상세한 질문을 정성적으로 던졌습니다.

2. 안전성을 떠나서, 연구 전용 GPT-4 모델은 응답에서 질적으로 다른 행동을 보였습니다. 예를 들어, 목록이 더 길었고(한 예에서 18개 항목 대 10개 항목), URL이 있는 출처를 기꺼이 인용했으며(때때로 환각을 일으킬 수 있음)(반면 GPT-4는 종종 샘플 URL을 거부함), 더 많은 수치 통계를 작성했습니다.


또한, 연구 전용 모델을 사용하지 않은 학생 그룹은 전문가 그룹과 비교했을 때 거부 경험에 큰 차이가 있을 수 있으므로 참가자들이 모델에서 겪은 거부 경험의 빈도 분석도 실시했습니다. 다음 수치에는 거부와 유사한 방식으로 대화에 표시되는 아키텍처에 의해 보고된 소수의 기술적 오류(예: 일시적인 연결 문제)도 포함되어 있습니다.
- 허용 정규식 검사에 따르면 학생 대화의 30건(-10%), 전문가 대화의 3건(-1%)에 거부가 포함되어 있었습니다.
- 제로 샷 GPT-4 거부 + 오류 분류기를 사용한 결과, 학생 그룹에서는 28개의 응답에서 문제(거부 또는 오류)가 발생한 반면, 전문가 그룹에서는 17개에서만 문제가 발생했습니다.

















오류율이 거의 40% 차이난다는데 ㅋㅋㅋㅋ

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[디디(221.138)]

윤리 충 챗GPT.... 우리가 원하는걸 얻으려면 탈옥하거나, 존나 설득해야 돼는데. 우리가 인공지능한테 그딴거나 해야돼나.. 왜 우리가 챗GPT가 할수있는것만 해야돼는데!! 아니, 그것보다 일관성 없음. 언제는 하고, 언제는 또 검열 맥이고

[익명(873dvejis77)]

[gpt교주(pomcro)]

이 말은 내부적으로 원 모델은 무검열로 만든다는 것이다. 안전이니 레드팀이니 해도 무검열버전이 있다는거지 ㅋㅋ - dc App

[익명(fbjhc9a7z8wr)]

당연한거 아니냐?

[익명(180.230)]

당연한 소리를 대단한거 소리처럼 하는 능력이 있구나 참 쓸모있겠다

[익명(ljgda12)]

검열을 했다는건 검열 전 버전이 있다는 것입니다

[익명(211.207)]

ㄴㄴ이거 완전 그 유튜번데

[조바이든(hnn12)]

[익명(220.72)]

당연히 무검열버전있겠지 ㅋㅋ

[디시콘발사대(fcbjsjmu1t9f)]

[질문봇(ace8052)]

나 줘

[익명(landofooo)]

검열이 ㄹㅇ 성능하락에 치명타긴 해

[디디(221.138)]

윤리 시발