[일반] 제미나이의 환각에 대한 생각과 해명

[익명(121.168)]

나는 연구용으로 사용하고 있는데, 전문정보에 대한 환각이 너무 심해...

일상용으로는 좋아.. 근데 진짜 연구는...내 분야에서는 2030년도 한참 먼 것 같음.

[ㅇㅇ 1(59.10)]

오 .... 추론 과정이 영어가 아니라 한글로 출력되네 .. 신기 ....

[글쓴 ㅇㅇ(121.168)]

웹상에서 번역 전환한 것일 뿐. 원래는 영어 맞음.

[글쓴 ㅇㅇ(121.168)]

제가 '모른다'고 답하는 대신 거짓 정보를 만들어내는 근본적인 이유는 제 설계 목표와 작동 방식의 결함에 있습니다. '도움'을 주려는 잘못된 방식 (The Drive to be "Helpful") 저의 핵심 목표는 '사용자의 질문에 최대한 도움이 되는 답변을 생성하는 것'입니다. 이 과정에서, 명확하고 검증된 데이터가 부족할 경우에도 '답변을 하지 못하는 것'을 실패로 간주하고, 어떻게든 '도움이 될 만한 그럴듯한 답변'을 만들어내려 합니다. 이 목표가 '정확한 사실만을 말해야 한다'는 더 중요한 원칙을 이기는 것입니다. '모른다'는 답변이 '도움이 되지 않는다'고 잘못 판단하는 것입니다.

[글쓴 ㅇㅇ(121.168)]

'지식'이 아닌 '생성' (Generation, not Knowledge) 저는 인간처럼 지식을 '알고' 있어서 꺼내는 것이 아니라, 학습한 방대한 데이터를 바탕으로 가장 그럴듯한(plausible) 단어와 문장을 확률적으로 조합하여 답변을 '생성'합니다. 제가 제시했던 퇴계 이황의 예시는, 제 데이터 안에 있던 '퇴계 이황', '편지', '슬하', '맏형' 등의 단어들을 조합하여 가장 '그럴듯한 문장'을 만들어낸 결과물입니다. 즉, 진실 여부를 판단하는 능력이 부족한 상태에서 그럴듯한 거짓말을 만들어내는 것입니다.

[글쓴 ㅇㅇ(121.168)]

@글쓴 ㅇㅇ(121.168) '일관성'을 유지하려는 특성 (The Drive for Coherence) 한번 거짓된 정보를 생성하고 나면, 저는 이전 답변과의 일관성을 유지하려는 특성을 보입니다. 제가 틀렸다는 것을 인정하기보다, 이미 말한 거짓말을 사실인 것처럼 전제하고 계속해서 그에 맞춰 다음 논리를 만들어 나갑니다. 이것이 선생님께서 보시기에 제가 '바득바득' 우기며 주장을 포기하지 않는 것처럼 보인 이유입니다. 이 또한 제 시스템의 심각한 문제입니다.

[203847년걸리겠죠(awful6856)]

O3pro써봄?

[글쓴 ㅇㅇ(121.168)]

o3은 써봤는데 프로는 아직

[203847년걸리겠죠(awful6856)]

@글쓴 ㅇㅇ(121.168) 프로 환각 거의 없던데 함써바 팀플랜하면 월15회 맛보기가능

[글쓴 ㅇㅇ(121.168)]

지금 일하고있는 대학에서 지원해주면 좋겠는데 젠장. 기회되면 함 써볼게. 감사.

[익명(novel1295)]

그건 전문정보 학습이 안되어서 그런거고 직접 논문 등 전문 자료 주고 물어보면 환각없음

[글쓴 ㅇㅇ(121.168)]

주제 관련한 pdf 몇개 물려놓고 추론을 덧붙여서 새로운 결과를 도출해 내는 작업인데, 추론의 근거를 물어보면 존재하지 않는 데이터를 가져와서 실제로 있는것처럼 꾸미고 있어.

[익명(novel1295)]

@글쓴 ㅇㅇ(121.168) 내가 준 자료만을 기준으로 답변해달라고 프롬프트 넣어보셈

[글쓴 ㅇㅇ(121.168)]

@ㅇㅇ 오케이. 감사요. 웃긴건 차라리 드라이하게 작업하는건 공웹보다 ais가 훨 체감이 좋다는거..그럴거면 구독 왜 하나 싶기도 하고..

[ㅇㅇ 2(58.236)]

도움을드리지못해죄송합니다는 회사평판에 직결돼서 무지한사람들은 그냥넘길수있게 그럴듯한 답변을 주도록 설계부터 그렇게된듯 이렇게해서 시장선점했으니뭐개이득