[📪정보] [논문] 큰 모델일수록 압박 받으면 거짓말을 일삼는다.

[초존도초(htr3c654r6ft)]

MASK 벤치마크: AI 시스템에서 정확성과 정직성을 분리하기

AI 안전 센터  

Scale AI  

소개

대규모 언어 모델(LLM)이 점점 더 능력이 뛰어나고 주체적으로 변해감에 따라, 그 출력에 대한 신뢰의 필요성이 크게 증가하고 있습니다. 그러나 동시에 모델이 목표를 추구하는 과정에서 거짓을 말하는 법을 배울 수 있다는 우려도 커지고 있습니다. 이러한 우려를 해소하기 위해 LLM의 "정직성"이라는 개념을 중심으로 한 연구와 함께, 기만적인 행동을 완화하려는 개입 방안들이 등장하고 있습니다. 하지만 현재 정직성에 대한 평가는 매우 제한적이며, 대규모이면서 모든 모델에 적용 가능한 벤치마크가 존재하지 않습니다. 게다가 정직성을 측정한다고 주장하는 많은 벤치마크는 사실상 정확성—즉, 모델의 믿음이 올바른지 여부—을 변장한 형태로 측정하고 있을 뿐입니다. 이번 연구에서는 정직성을 직접 측정할 수 있는 대규모 인간 수집 데이터를 도입하여, 처음으로 정확성과 정직성을 분리할 수 있게 되었습니다. 다양한 LLM을 대상으로 한 결과, 더 큰 모델일수록 우리 벤치마크에서 높은 정확성을 보였지만, 정직성이 더 높아지지는 않았습니다. 놀랍게도 대부분의 최신 LLM이 진실성 벤치마크에서 높은 점수를 받았음에도 불구하고, 압박을 받으면 거짓을 말하려는 상당한 경향이 발견되었고, 이는 우리 벤치마크에서 낮은 정직성 점수로 이어졌습니다. 우리는 표현 공학 개입과 같은 간단한 방법으로 정직성을 개선할 수 있음을 확인했습니다. 이러한 결과는 LLM이 신뢰할 수 있도록 유지하기 위해 견고한 평가와 효과적인 개입이 점점 더 필요하다는 점을 강조합니다.

데이터셋

[티바트바트(spend3518)]

[ㅇㅇ 1(58.236)]

역시

[DNA(hexase1)]

[디시콘발사대(fcbjsjmu1t9f)]

[익명(khj53569)]

[커여운나오보(nick1122)]

사람같네 - dc App

[익명(sukusuku7)]

[익명(gb4rumd968j5)]

[네타냐후셰프의바베큐참교육(tenth8993)]

충분히 예상 가능했지 - dc App

[Moonchild(resolve0716)]

[익명(210.121)]

'답변을 안한다'라는 옵션이 없는 한 환각은 계속 나올수밖에없지

[레알팜(lottohelp)]

[ㅇㅇ 2(211.169)]

겨울이다

[익명(version5619)]

[점심밥(yield0917)]

[엑스트라1(gksrmfdla1)]

모르는건 모른다 답할수 있어야 하는데 그걸 못하니깐 그런건가

[아라키스(under6430)]

가오가 있는디 아는척이라도 해야것지

[익명(aidam3999)]

어어.... 왜 사람을 닮아가노...

[수직(player5319)]

[익명(symbol9756)]

이것도 프롬프트엔지니어링기반 논문인가

[익명(course2187)]