https://gall.dcinside.com/thesingularity/430012
https://gall.dcinside.com/thesingularity/430015
어떤 갤러가 쓴글인데
이거때문애 GPT5 출시가 늦어지는것일수도 있음
OAI와 밀접하게 결탁되어있는 MS 의 중꿔 개발진들이 낸 논문임
OAI 측에서도 토큰에서 발생하는 장기기억 문제에 대해서 의식하고 있을테고 그리고 그것에 대한 파훼법을 끊임없이 생각하고 있을것임
현재 클로드 제미니 그록 등등의 언어모델과 차별화된 메커니즘으로서 또다른 센세이션을 만들어낼려면 이 방법이 불가피함
추천주작 뭐냐 ?
무슨 바이트 기반으로 하면 모든 문제가 다 해결되는것마냥 개 호들갑을 떨어놨는데 단어 임베딩 토큰이 바이트 토큰으로 대체될 뿐 transformer쓰는 이상 토큰기반인건 다를바 하나도 없음.
그리고 당연히 저거 쓴다고 장기기억 문제 해결되는거 아님.
뒤에 재귀개선 운운하는건 대체 무슨상관인지 모르겠는데 전공자는 아닌듯?
그럼 씨벌 장기기억 어떻게 해결해야함
그걸 알면 얘가 특붕이가 아니라 실리콘밸리에 들어거 잇것지...
킹능성은 있는 기술이긴 한디 저거 연산효율 ㄹㅇ 씹창임. 지금 하드웨어로는 어림도 없음. 이러나 저러나 하드웨어적인 변화가 있어야 할꺼임
윗댓 말대로 이상한 소리 하는 건데 왜 이게 념임
여긴 그냥 호기심 자극하기만 하면 사실이랑 상관없이 념글감
이게 왜 념