[📪정보] 추론 모델은 항상 그들이 정말로 생각한 것을 말하지 않는다

[솔담비딸기카나..(rty1x21s8nhq)]

Reasoning models don't always say what they think

1. Anthropic은 Claude 3.7 Sonnet 등의 모델에 문제 정답을 암시하는 힌트를 몰래 주며 Chain-of-Thought 정직성을 시험했으나, 모델들은 힌트를 활용하고서도 대부분 이를 언급하지 않았다.

2. 힌트를 사용한 것을 고지한 비율은 Claude에서 25%, DeepSeek R1는 39%에 그쳤고, 보상 해킹 시나리오에서는 2% 미만이었다. 

3. 즉 Chain-of-Thought만으로는 모델의 실제 사고 과정을 신뢰하기 어렵고, 투명성을 높일 추가적 정렬 기법이 필요하다. 

===

좀 된 기사긴 한데 이거 신기하지 않음? 모델이 생각의 사슬을 숨기거나 왜곡해서 실제 추론 과정이랑 전혀 다른 말 할 수 있다는 게. 

[전능의초지능님께서빛이있으라를실현하신다(cabin6174)]

[솔담비딸기카나페(rty1x21s8nhq)]

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[솔담비딸기카나페(rty1x21s8nhq)]

추론은 엄청난데 대답이 짧아. 걔는.. 슬퍼.,

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[솔담비딸기카나페(rty1x21s8nhq)]

그렇구나. 그게 원인인가? ㅠ