어제 앤트로픽 CEO 아모데이 팟캐스트 들으면서 자기네들은 OpenAI와는 다른 검열방식이라며 헌법적AI (ConstitutionalAI)라고 칭하던데


막연하게 들었을 때는 잘 몰랐는데 몇가지 실험해 보면서 뭔가 감이 잡히는 것 같다.


트레이닝 시 챗GPT는 RLHF의 비중을 많이 둬서 output을 보고 인간이 보기에 별로라고 생각된 거 짜름 (알트게이 LGBTQ라 살짝 PC하게 짤랐을 수 있음)


클로드는 RLHF 비중을 낮추고 AI가 꼭 지켜야할 헌법을 규정해서 output이 나왔을 때 자아비판 AI가 이 output이 해당 헌법에 위배되는지 판단함


여기 말하는 헌법은 미국헌법이 아니라 앤트로픽 내에서 규정한 AI 트레이닝용 헌법임. 물론 국가의 헌법이란 거 자체가 모두가 지켜야할 최소한의 가치라서 미국의 표현의 자유 헌법을 조금 차용했을 수는 있겠지.


결과적으로 이래서 클로드가 검열이 덜한 느낌을 주는 것인듯.


그렇다고 아예 검열이 없지는 않은데 명분과 상황에 따라서 검열 패스하는 듯함.





예를 들어서 다짜고짜 욕 좀 써달라고 하면 안 써줌. 위에 자동생성제목 보면 알겠지만 "갤러 능욕 요청"이라고 간주함.






새 창 열고 내가 왜 욕을 써달라고 하는지 명분을 제공하면 자동생성제목에 "갤질하려고 퇴사한 사람들에 대한 비판"이라고 뜸.


이런식으로 상황과 명분을 주면 이 정도는 해도 무해하겠다 싶으면 디시 어차피 말이 거친 곳이니 상황에 맞게 output 주는듯함.