[일반] 제미니 대화 길게하면 바보 되는 이유가 뭐임??

[익명(yuruyuri11)]

토론용으로 잘 쓰고 있는데

일정 대화 이상 넘어가면 갑자기 존댓말 쓰거나

이상해지는데 왜 그런거임?

[ㅇㅇ 1(59.28)]

입력 토큰이 너무 길어지면 망각이 일어남

[익명(yuruyuri11)]

왜 그런거임?

[ㅇㅇ 1(59.28)]

현실적으로 모든 질의응답을 입력 토큰으로 넣어야하는데 그게 불가능하니까, 지금은 입력 토큰중 일부를 선택해서 넣고 있음 그러니 모수가 많아지면 중요한 정보들이 점점 희석되겠지

[익명(yuruyuri11)]

그럼 그거 때문에 스케일을 키워야되는거임?

[ㅇㅇ 1(59.28)]

아니 스케일하고는 상관이 없음, 방법 자체를 바꿔야함

[익명(yuruyuri11)]

결국 그럼 장기기억이랑 관련되는건가?

[ㅇㅇ 5(121.158)]

컨텍스트 길이를 늘려야 하는데 구글이 잘 하기도하고 자신있어 하는 분야임. 곧 천만 컨텍스트 가능할거라고 했고, 1억,10억도 아직은 힘들지만 몇년 내로 가능할 거라 예상하더라.

[익명(yuruyuri11)]

그렇구만 답변 ㄱㅅㄱㅅ

[ㅇㅇ 2(182.220)]

제미니는 고컨텍에 강한 모델인데 뭐지

[ㅇㅇ 3(210.97)]

저래도 긴대화 성능1등이 제미나이라는거

[익명(218.156)]

아직 llm 막 엄청 많이 써본거 아니면 '기억력' 때문이라고 설명하는거보다 '주어진 시간 내에 연산능력을 초과' 라고 설명하는게 좀 더 와닿을듯. 나의 질문에 대한 답은 이전의 모든 질문과 답변을 한번에 연산해서 답을 도출하는거기때문에 대화가 길어지면 연산 딸려서 놓치는게 많아짐. 즉 제미나이 뿐만아니라 우리가 쓸수 있는 현존하는 ll ai들이 다 그러함

[익명(yuruyuri11)]

그럼 해결방법이 뭐임?

[ㅇㅇ 4(218.156)]

@ㅇㅇ 해결 방법은 중간 중간에 대화를 요약해서 새로운 채팅방으로 넘어가거나 하는게 현재로썬 제일 베스트임.

[익명(yuruyuri11)]

근데 그렇게도 해봤는데 이전에 대화하던애랑 달라진 느낌이라 이건 어쩔수없나

[ㅇㅇ 4(218.156)]

@ㅇㅇ 아무리 잘 요약해도 요약은 요약이라 이전에 대화하던 그녀석은 증발~ 어쩔수가 없음. 진짜 최고 걸림돌이 아닌가 싶음

[ㅇㅇ 6(211.118)]

피시면 채팅방 젤 위 까지올려서 컨트롤 + a 버튼 같이 눌러서 메모장으로 세션 방 옮기는게 그나마 나음 이렇게해도 까먹는게 잇긴함 - dc App

[121234(juheon5578)]

LLM은 대화를 '기억' 하는 게 아니라 매 답변 시 마다 새로운 놈이 모든 내용을 처음부터 끝까지 읽고 새로운 답을 내놓는다고 생각하면 됨. 그래서 대화가 길어져서 읽어야 하는 양이 늘어나면 성능이 점점 떨어지고.

[ㅇㅇ 7(211.117)]

확률 믹서기라소 그럼 내가 물어보니 자기는 생각은 안한데..그냥 고도화된 예측기라고 시인함.. - dc App