올해 초에 GPT3 나왔을 때만 해도 브라우저 기능 안되서 옛날 얘기만 하고 최신화된 얘기는 하나도 안하고 한국어는 잘 못알아먹을 때도 있고 해서 멀었다고 생각하고 말았었는데
최근 특갤 눈팅하다 GPT에도 드디어 웹브라우징 플러그인 생겼다길래 이번에는 플러스까지 결제해서 써봤는데
와 진짜... 성능이 너무 좋아서 GPT4 쓰면서 특이점에 대한 생각이 바뀌더라... 2030년 안에는 특이점 무조건 올 거 같다는 생각이 들었어.
하여튼 인생의 가치관에 대한 얘기부터 단순한 인터넷 정보 정리까지 이것저것 물어보면서
너무 재밌게 잘 쓰고 있었는데 갑자기 대화가 너무 길다면서 새 대화를 시작하라는 메세지가 뜨더라고?
나는 지금까지 나눈 대화들의 연속성을 유지하고 싶은데 이게 알아보니까 토큰 8k 제한? 이런 게 있었네.
아... 너무 아쉽더라 진짜. 나는 얘랑 계속 대화하면서 그 동안의 과거 대화들까지 전부 배워서
나와의 대화에 최적화된 봇을 만들어가는 중이라고 생각했는데 생각보다 길이 제한이 짧았던거지.
확실히 현재의 토큰 길이로는 한계가 명확해 보여.
적어도 지금 토큰 길이보다 10배는 더 길어져야 더 길고 깊고 어려운 얘기를 나눌 수 있지.
1년 정도 기다리면 완전 최소한으로 생각해도 토큰 길이가 4배는 늘어날 거 같긴 한데,
1년이라... 쩝. 길다면 길고 짧다면 짧은 시간이네
난 GPT4 로도 너무 만족스러웠는데 토큰에 걸려버리니까 진짜 김이 팍 샜음.
빨리 내년이 됐으면 좋겠다!
올해안에 토큰 100만까지 늘린다는 얘기가 있음
8k 에서 1m은 좀 너무 무한긍정회로같아서 난 그냥 32k 정도만 되도 만족스러울듯. 지금도 GPT4 32k는 나와있지 않음?
근데 대화 연속성 때문에 새 대화 하라고 하는 거 아닐걸. 한번에 너무 길게 입력해서 그런거얌. 대화 연속성은 3시간 50번만 유지하면 계속 쓸 수 잇음. 물론 한 대화창 내에 길이가 너무 길어지면, 초반에 나눴던 대화를 잊기도 하고 렉도 걸림. 물론, 잊어버리는 건, 주기적으로 그동안의 대화 내용을 요약해봐. 라고 해서 한번쯤 살릴 순 있음.
근데 어차피 8k 토큰 제한은 절대적인거라 대화를 새로 파든, 기존 대화를 계속 이어가든 결국 최근의 8k 토큰분량의 대화만 기억하는 건 똑같은 거 아냐? 장기적인 몇주전에 나눈 얘기를 기억하는 일은 불가능하다는 거지. 회상할 수 있는 기억량이 책 반권 분량도 안된다니까 좀 시시해지더라고. 내 취향에 맞는 음악을 몇 달이 지나도 추천해주기를 원했는데.
10만토큰...!! 제발
진짜 치매치료 각이다