잼민이 프로 1.0 이새끼 환각 오지는건 늬들도 알지?
구글ai스튜디오로 테스트 해봤는데
이새끼 3만 토큰까지 됨 그래서 2만토큰되는 문서 넣어주고
테스트 해봤는데 해당문서 + 나하고 대화를 이어간 토큰내에선 환각 없음
여기서 문서랑 나랑 대화한 내용을 벗어나서 자기 학습데이터 접근해야 하면 그땐 조금 나오는데 그 전엔 없음
결론
환각 씨부리는 새끼들 테스트 해보자
잼민이 프로 1.0 이새끼 환각 오지는건 늬들도 알지?
구글ai스튜디오로 테스트 해봤는데
이새끼 3만 토큰까지 됨 그래서 2만토큰되는 문서 넣어주고
테스트 해봤는데 해당문서 + 나하고 대화를 이어간 토큰내에선 환각 없음
여기서 문서랑 나랑 대화한 내용을 벗어나서 자기 학습데이터 접근해야 하면 그땐 조금 나오는데 그 전엔 없음
결론
환각 씨부리는 새끼들 테스트 해보자
잼민이는 환각이 졷댄다 제대로인 대답나올때 gpt4보다 좋다고느껴지는데 환각빈도가 좀 높은거같네 이거잡으면 잼민이만쓸듯
그래서 1000만이란 토큰이 중요함 아예 내가 필요한 db를 때려 넣어도 되는 크기라 그 안에선 환각이 음쓰
ㅇㅇ 1000만토큰 집어넣었고 거기에서 문제 없다는 말은, 1000만토큰 내에선 환각이 없다는 말이지 않나. 가볍게 알기로, RAG가 입력 시킨 텍스트를 참고해서 대답해서 환각을 줄이는건데, 여기서 구글이 한 건 RAG로 입력 시키는 텍스트를 1000만 토큰까지 된다는 말인듯. 그러면, 제미나이도 GPTs처럼 쓰면 훨씬 더 많은 내용을 집어넣고 물어볼 수 있다는 말...인듯? 근데 제미나이는 GPTs 같은 플랫폼이 없다는 점. 어찌 쓸 수 있을까나.
rag는 외부 벡터db에 넣고 접근하는 방식이라 쿼리 던질때 정확한거 찾는데 문제 있었는데 이건 그 방식이 아니라 컨텍스트를 확장한거라 더욱 정확하지
랭체인도 결국 큰 문서를 잘게 짤라서 짤리는 부분 충첩시킨 작은 문서들을 접근하는 방식이라 한계가 있고
넣은 정보 안에선 환각이 없다라.. 좋은 소식이네
실망한 경우가 많아서 실제로 써보기 전까진 기대를 낮추고 있었는데 실제 사용 사례로 확인했다면 이야기가 좀 다르지
1.5 안풀어줘서 답답해서 1.0으로 테스트함 ㅋ 더 구린놈인데 환각 사라짐