트랜스포머 계층구조 특성상 어쩔 수 없음
만약에 고양이사진에다가 이것을 개라고 학습시키면 고양이를 개라고 말함
이것은 오작동이 아니라 그렇게 '학습되어진' 거임
이제 세종대왕 맥북던짐 사건 이런거 물어보면 "단순한 밈이며 세종대왕과 맥북은 역사적으로 아무런 관련이 없습니다" 라고 출력하지만
이것또한 환각이 해결되서 이렇게 말하는게 아니라 저 자체를 학습시켰기 때문임
트랜스포머 계층구조의 내부구조를 역추적하는 이 연구의 진위는 환각을 해결하기 위해서 하는게아니라
생각과정을 역추적해서 더 똑똑하게 만든다가 원론적인 목표임
혹시 LLM이 결과 출력을 딕셔너리 호출이랑 똑같다고 생각하는거? 그 자체를 학습해서 그렇게 대답하는게 아니다 게이야 문제가 뭔지부터 알아봐라
무슨말 하는거임
이 게시글의 논점은 환각에 대해서 말하는거지 너가 말하는것과 전혀 연관성없는데
"환각은 오작동이다" 라는 말에 대한 반론에 가깝지 딕셔너리 호출이니 뭐니하는 것과 전혀연관성이없음
환각은 오작동이 아니라 제대로 작동하는거고 바둑과 같이 닫혀 있는 규격 이아니라 열려있는 규격에서 학습되어지는 인공지능 모델특성상 환각에서 자유로울수 없다가 이 게시글의 논점임
https://arxiv.org/abs/2304.13734
이런 연구 결과에 대해선 어떻게 생각함?
"실험 결과, 절반은 참이고 절반은 거짓인 테스트 문장 집합을 사용했을 때, 훈련된 분류기가 문장의 참과 거짓을 라벨링하는 정확도가 LLM 기본 모델에 따라 평균 71%에서 83%에 이르는 것으로 나타났습니다. 더 나아가, 분류기의 성능과 LLM이 문장에 할당한 확률에 기반한 접근 방식 간의 관계를 탐구합니다. 문장에 할당된 확률이 문장의 진실성과 관련이 있긴 하지만, 이 확률은 문장의 길이와 문장에서 사용된 단어의 빈도에 따라 달라지기 때문에 훈련된 분류기가 진실성을 감지하는 더 신뢰할 수 있는 접근 방식을 제공함을 보여줍니다." 이 문장이 이해가안감
테스트 문장 집합 에 분류기를 사용해서 참거짓을 판단하는 라벨링을 사용한다는건데 'LLM 기본 모델에 따라 평균 71%에서 83%에 이르는 것' 이 왜나오는거임?
LLM 기본 모델과 문장 분류기는 분리되어있는 인공지능 모델아님?
아 LLM 이 만들어 낸 문장 중에서 참인 문장 과 거짓인 문장을 5:5 로 분류하고 거기다가 분류기를 사용해서 참거짓라벨링을 진행했다는건가
분류기의 입력이 LLM의 신경망 활성화도임
비유하자면 LLM이 출력을 하고 난 뒤에 뇌 지도를 분류기에 넘겼더니 출력의 정확도를 잘 예측할 수 있었다는 거
아 은닉층 의 사고과정을 통짜정보 그대로 분류기에 집어넣었다고
절반은 참이고 절반은 거짓인 문장집합을 LLM 에 집어놓고 LLM 이 이 데이터를 처리한뒤 그 처리하는 과정에서 생겨나는 히든스테이트의 정보를 그대로 분류기에 집어넣었더니 참거짓 라벨링의 확률이 80퍼센트에 육박했다.
분류기로 거짓 문장과 참인 문장을 라벨링 하고 OPENAI 의 패턴인식 미세조정 방식으로 네거티브 점수(거짓 문장) 과 포시티브 점수(참인 문장) 으로 보상설계 를 해두면 환각을 엄청 줄일 수 있을거같은데
"특정 주제나 아이디어를 선호하도록 조정할 가능성" 이 존재한다면 그 인공지능 모델 자체를 추가적인 프롬프트 엔지니어링 없이도 역할성을 부여할 수 있는 기술적 가능성이 생기겠지
다만 여기서 가장 의문인건 이 분류기가 어떻게 훈련되었길래 참과 거짓에 대한 판별 확률을 최소71에서 최대 83 까지 올릴 수 있었냐는거임 이 원리가 난 제일 궁금함 관련논문없음?
링크 들어가서 View PDF 누르면 전체 논문 볼 수 있음. 분류기 어떻게 훈련했는지는 4 SAPLMA 섹션에 충분한 수준으로 설명돼 있을 거임
여기서 내놓는 거짓말 탐지기가 은닉층을 역추적해서 '환각확률' 을 계산할 수 있었다는것에 엄청난 큰 의의가 있지 하지만 이 거짓말탐지기 '자체의 환각' 또 2차적으로 존재한다는것에 추가적인 인간검수가 필수적이라는 단점이 존재하긴하겠지 검수도구로 활용한다면 좋은도구가될듯
지금 보상설계니 거짓말탐지기 니 하는 활용법 보다 제일중요한 '기술적 논점' 은 "은닉층 자체에 접근해서 연구분석" 한다는것에 있을듯
나는 거짓말 탐지기 자체에 의의가 있다기보단 LLM이 자기가 환각을 일으키고 있는지 아닌지 스스로 인지한다는 사실이 큰 시사점이라고 생각함. 이 부분을 잘 연구하면 적어도 잘 모르는 분야를 아는 척하는 현상은 크게 해결할 수 있을 것 같음
ㅇㅇ 그렇지
야 미안하다 ㅋㅋ "4 SAPLMA" 섹션에서 본질적으로 분류기가 어떻게 참과거짓을 판단할 수 있었는지에 대해서 적혀있지않은거같음
"SAPLMA의 분류기는 세 개의 은닉층(각각 256, 128, 64개의 은닉 유닛을 가진)과 ReLU 활성화를 사용하는 피드포워드 신경망을 채택합니다. 마지막 층은 시그모이드 출력입니다. 우리는 Adam 옵티마이저를 사용합니다." 이 스팩을 가진 분류기가 LLM 의 은닉층에 투입되었을때 은닝층과 신경망 시그모이드 출력 ADAM 옵티마이즈 등등의 기능들이 참과 거짓을 판단하는것에 도움이 된다는거같은데 개발지식이있어야 알아먹을수있을듯
아 활성화 값을 학습한다는거구나
어떤 부분을 알고 싶은 거임?
ㅇㅇ 맞음
참과 거짓에 대한 활성화 값에 대한 데이터가 많아지면 많아질수록 그 분류기는 정확도가 더 높아지겠네 하지만 이 분류기 조차도 꼬리문제를 벗어날 수 없을듯
궁극적으로는 분류기에 의존하는 게 아니라 우리가 환각 상황에서 LLM의 은닉층이 어떤 패턴을 보이는지 이해할 수 있게 되면 좋겠지
분류기의 환각 검출기의 성능을 99퍼센트까지 수렴시키고 "분류기와 LLM 기본모델간의 기술적 파이프라인"(단일모델) 로 만들어서 분류기를 학습지도자의 검수도구로도 활용하는것 이상으로 사용자가 제공받는 답변의 퀄리티를 높일 수 있는 기능도구로도 활용할 수 있을듯
그런데 여기서의 한가지 문제점은 "일반적인 가설은 LLM의 은닉층 값이 LLM이 문장이 참인지 거짓인지 '믿는' 정보가 포함되어 있다는 것" 가설이 적용되어있다는점 여기서 왜 LLM 이 자체적으로 이문장이 참인지 거짓인지에 대해서 '믿고있는지' 에 대한 이해도가없다는점
LLM이 은닉층의 영역에서 자신이 출력하려는 정보에 대해서 메타인지를 하고있다는점이 좀 무섭긴한데 이것은 인간의 메타인지와 너무나 닮아있음
그건 맞음. 여기서 말하는 환각은 "학습 데이터에서 추론할 수 없는 내용을 사실처럼 말하는 것"을 말함. 학습 데이터 자체가 오염되어 있다면 이것도 쓸모가 없겠지
아 그래서 저 위에 사람이 "LLM이 결과 출력을 딕셔너리 호출" 을 언급했구나
고맙다 오늘 너는 나의 교수님이 되어주었다 재밌게 배워감
갤에서 환각 관련 한숨나오는 이야기만 보다가 진짜 정보글 보니까 기쁘다 너같은 애가 갤에 많아야함
ㅋㅋㅋㅋㅋㅋㅋ
장애인들이 너무많음 ㅋㅋㅋㅋ
걔들은 자기가 옳다고 믿어서 대화도 아예 안통함...
댓글들까지 알차노 이런건 념글보내라