[📪정보] OpenAI)GPT-4의 오류를 찾기 위한 CriticGPT 논문공개

[익명(freely2071)]

초지능으로 향하는 길, GPT-4 훈련시키는 CriticGPT
OpenAI는 GPT-4의 오류를 찾기 위해 CriticGPT라는 모델 개발


CriticGPT는 GPT-4 베이스로 ChatGPT의 코드를 비평해주는 GPT
CriticGPT는 GPT-4의 응답을 검토하고 오류를 지적하는 역할을 함
연구 결과, CriticGPT가 사람과 협력했을 때 오류를 더 정확하게 찾아냄
CriticGPT는 응답의 논리적 일관성을 검토하고, 모호한 표현을 지적하며, 정보의 정확성을 평가함


하지만 긴 텍스트나 복잡한 오류를 처리하는 데는 한계가 있음
OpenAi측은 앞으로 이 모델을 개선해 나갈 계획이라 밝힘

최근 Frontier AI 연구소들에서 제일 많이 논의되는 주제 중 하나는 결국 어느 순간 각종 병목을 뚫고 AGI → ASI로 가기 위해 AI로 AI를 가르치는 루프를 연결해야 한다는 주제


오픈AI의 본문에도 나와있듯 이는 앞으로 초지능의 시대에 '인간보다 더 높은 지능을 어떻게 관리감독할 것인가'에 대한 주제에 대한 연구
*This is a step towards being able to evaluate outputs from advanced AI systems that can be difficult for people to rate without better tools.*

지금까지 광범위하게 혁신을 가능케 했던 RLHF는 한계에 부딪힐 것이기 때문 CriticGPT는 결과적으로 사람만 했던 것보다 더 나은 결과를 냈고 오픈AI는 향후 이를 확장하여 실제로 모델에 적용하겠다는 말을 남김
*In order to align AI systems that are increasingly complex, we’ll need better tools. In our research on CriticGPT, we found that applying RLHF to GPT-4 has promise to help humans produce better RLHF data for GPT-4. We are planning to scale this work further and put it into practice.*



https://openai.com/index/finding-gpt4s-mistakes-with-gpt-4/

[익명(rechido)]

[익명(freely2071)]

[천사다천사(jjtheman999)]

논문추 - dc App

[익명(tooth5104)]

잎으로 하겠다는ㅊ거구나.. 다시 gpt로 넘어가야 하나 고민했는뎅 일단은 클로드다! - dc App

[익명(222.234)]

근데 정확성을 평가하는 AI의 정확성은 누가 평가하는거임 저 AI가 '이건 올바른 정보다'

[익명(222.234)]

라고 하면 그게 찐인자 짭인지 어케알어 걍 믿는거임?

[익명(175.206)]

일단은 정성평가 해야 할 듯? 아니면, 정답이 라벨 된 코드 문제들을 입력 시키고 개선 시킨 걸 평가지표로 표현할 수도 있을거고. 아예 말 안 되는 건 아닌게, openAI가 GPT 만들 때 RLHF 썼듯, 앤트로픽도 자기들 챗봇 개선할 때 다른 챗봇을 통해서 검토했다고 했을거임.

[익명(180.226)]

블록체인 써야지 - dc App

[뉴비(211.219)]

인도인 5천명으로 전수검사함

[익명(125.129)]

결과를 보고 판단해야지. 사람의 정확성은 누가 평가함? 인터넷 정보 전부 출처랑 근거 찾아보면서 평가함?

[2035AGI(boxing8245)]

얘네 논문을 공개하긴 하는구나

[익명(110.15)]

ai로 ai를 가르치는 지능폭발을 위해서 필요한 준비인가

[부패하는유전자!!!(sansss2015)]

와 이제 지도학습 없어지냐