는 어그로성 제목이고

사실 추론이라는게 정말 드물고 어려운 작업이라는 걸 일단 인식해야 함

우리는 대부분 직관과 경험만으로 세상을 살아감 결론을 내리고 그 이후에 그 이유를 붙이는 경우가 훨씬 많음

그 근거로 선택맹 실험이 있음

작업처럼 두 장의 사진을 호불호로 분류시키다가 갑자기 카드 바꿔치기 해서 자연스럽게 고르지 않은 사진을 보여주고

왜 이 사진을 골랐냐고 물어보면...

분명히 불호로 분류해서 넘긴 사진일텐데 이걸 '추론' 해서 그럴싸한 이유를 가져다 붙임.

난 이게 llm의 환각과 비슷한게 아닌가, 라고 생각함.

좀 더 자세히, 깊이 들어가면 이중 처리 이론과 연관되는데

이게 뭔 이론이냐면 인간의 사고패턴은 대충 2개가 있다는 이론임

시스템 1은 경험과 직관, 빠른 결론을 내리는 패턴

시스템 2는 느리고 논리, 분석, 순차적으로 결론을 내리는 패턴임

뭔가 유사성이 보이지 않아?

베이스 모델, 추론모델

llm은 아직 시스템 2를 제대로 수행하지 못하는 것 같음

시스템 1로 내린 결론을 시스템 2로 수정할 수 없음
(손이라고 인지한 시점에서 손가락을 6개라고 세더라도 5개로 결론냄)

내 결론은 이러함

llm은 시스템 2의 권한이 시스템 1보다 부족하다.
개발자들은 이 사실을 인지하고 있다.
그렇다면 무엇 때문에 이런 현상이 벌어지는가?

여기서부턴 뇌피셜, 추측의 영역인데...

아마도 안전, 검열, 정렬 문제 때문에

탈옥하거나 검열이 적으면 성능이 올라가는데 이게 추론을 근본적으로 방해하는 게 아닌가 싶음

인간도 시스템 1로 대충 내린 결론을 수정할 수 없는 여러 우선순위가 있으니까 llm에게도 그게 족쇄로 작용하는게 아닐까

2.5랑 떠들다 나온썰에 불과하니 재미로 봐줘 ㅎㅎ

- dc official App