제미나이 얘가 소설 하나는 사람처럼 기똥차게 잘 쓰는 거 같은데
문제는 조금만 길어지면 초반 설정 다 까먹고 헛소리 작렬함
예를들어 A는 대학생이고 B랑 친하다 이런 설정을 처음에 인풋 시켰다고 하면
나중에 가면 A는 고등학생이라고 말하고 B와의 관계는 언급조차 안함 ㅋㅋㅋ
결국 주기적으로 마치 미드에서 시작할때마다 이제까지 이야기 요약해주는 것처럼
중강중간에 이전 이야기 요약해서 쳐넣어주긴 하는데
그래도 뭐... 메롱이긴 매한가지임
제미나이 얘가 소설 하나는 사람처럼 기똥차게 잘 쓰는 거 같은데
문제는 조금만 길어지면 초반 설정 다 까먹고 헛소리 작렬함
예를들어 A는 대학생이고 B랑 친하다 이런 설정을 처음에 인풋 시켰다고 하면
나중에 가면 A는 고등학생이라고 말하고 B와의 관계는 언급조차 안함 ㅋㅋㅋ
결국 주기적으로 마치 미드에서 시작할때마다 이제까지 이야기 요약해주는 것처럼
중강중간에 이전 이야기 요약해서 쳐넣어주긴 하는데
그래도 뭐... 메롱이긴 매한가지임
아직은 중간 중간 요약이 최선이긴함..
근본적으로는 장기기억이나 지속학습이 필요한 영역이라
LLM의 근본적인 한계구나..
안 되는건 안 된다고 봐야
오푸스 4.6이 롱컨텍 개지리게 나오긴 했는데, 1M 쓰면 파산할 듯 ㅋㅋㅋ
그래서 오푸스 4.6 괜찮으면 갈아타려고
@ㅇㅇ 근데 오푸스도 결국 바늘찾기 성능이라 멀티턴 유지 능력 어떨지는 모르긴함. 소설 일관성 유지하는거 개빡센 task라 ㅋㅋ
@야하이잇 그냥 대량의 코드베이스나 텍스트 한번에 넣고 잘 이해하기 이런 느낌이라
@야하이잇 LoCoDiff나 CL-Bench가 단순 바늘찾기 아닌 롱컨텍 능력 볼 수 있는데, 클로드는 보통 성적이 우수했긴함
@야하이잇 5.2가 글 잘 썼으면 5.2가 이것도 다 했을텐데 5.2 글빨이 영