23년인가 22년부터


decoder only tranformer들은 자신이 생성하는 답에 대한 신뢰도를 표출할 수 있음이 보고됨


이게 

1. 토큰으로 생성된 문자열이든

ex Q. 방금 너의 답변에 대해서 어느 정도 확신을 가지고 있어?

A. 매우 확신하고 있습니다. / 확신하기 어렵습니다.

2. log prob이 낮든(대충 토큰의 확률이라고 생각하면 됨)

3. SAE 등으로 '거짓'을 말하는 feature가 활성화되든(이건 alignment 쪽 연구에서 나왔던 걸로 기억해서 조금 다른 관점일수도?)


뭐 어떤 방식으로든


그리고 이런 현상은 단순한 fine tuning 만으로도 어느 정도 완화가능해

그냥 답할 수 없는 질문을 주고 'i don't know'라고 답변하게끔 하면 돼


내가 지금 정확한 연구 제목들이 기억이 안나는데


r-tuning <- 이거를 중심으로 해서 여기에서 나온 related works나 이걸 인용한 후속 논문들 보면 될거임


념글 보다가 마치 이게 최근에 밝혀진 것이라는 것마냥 글이 써져서 ㅇㅅㅇ