반복적인 시간 진화의 결과, 과거 시퀀스의 토큰 상태가 현재 시퀀스의 토큰 상태를 먹어치움으로써 제한된 크기의 시퀀스에 대해 적은 메모리만으로도 분리된 시퀀스 간의 주의가 무한한 맥락 정보를 유지하는 것이 가능해지는 것을 논의합니다. 실험에서는 입력 토큰 윈도우 크기를 12개로 설정하고 24GB 메모리를 가진 GPU 1대를 사전 학습에 사용했습니다. 150개 이상의 길이 컨텍스트가 보존되는 것을 확인했습니다.
지니(ud6umt3mpv8r)2024-05-25 03:24
답글
"무한한 맥락 정보를 유지하는 것이 가능해지는 것을 논의합니다. 실험에서는 입력 토큰 윈도우 크기를 12개로 설정하고 24GB 메모리를 가진 GPU 1대를 사전 학습에 사용했습니다. 150개 이상의 길이 컨텍스트가 보존되는 것을 확인했습니다."
지니(ud6umt3mpv8r)2024-05-25 03:24
답글
컨텍스트 공간의 크기가 12개로 설정해놓았는데도 불구하고도 150개 이상의 컨텍스트를 유지시킬 수 있었음
지니(ud6umt3mpv8r)2024-05-25 03:25
답글
논문에서 주장하는바를 고대로 퍼오는게 논문의 의의를 주장하는데 있어 어떤 의미를 갖는거임?
익명(115.139)2024-05-25 03:26
답글
니 질문에 정답이 있는데
지니(ud6umt3mpv8r)2024-05-25 03:26
답글
그리고 '주장' 하는게 아니라 실험의 결과 로 나타난 '팩트' 임 실제로 저게 되니까 대규모 모델에 대한 장기기억의 가능성을 내포하는거고
지니(ud6umt3mpv8r)2024-05-25 03:28
답글
너가 제목에 써놨잖아 '기여'라고. 애초에 실험 규모도 작고 추가 연구도 거의 안 되어있지만 그걸 떠나서 기여한걸 들고와야 하지 않겠니?
익명(115.139)2024-05-25 03:30
답글
이새끼는 왜 질문에 정답을 담아서 묻지? 순환논법의 오류를 일으키고 싶은건가
지니(ud6umt3mpv8r)2024-05-25 03:30
답글
너가 의미있는 논문이라 생각함-이라고 적었으면 내가 태클을 안 걸었겠지
익명(115.139)2024-05-25 03:30
답글
장기기억의 실마리를 소규모의 모델에서 찾아냈다는것만으로도 인공지능 자체에 대한 기술적 기여지 아님머임?
지니(ud6umt3mpv8r)2024-05-25 03:31
답글
너 지금 단어하나가지고 말장난하냐?
지니(ud6umt3mpv8r)2024-05-25 03:31
답글
너 지금 단어하나가지고 말장난하고싶은거면 논리학으로 접근해드림?
지니(ud6umt3mpv8r)2024-05-25 03:31
답글
내가 저 제목에 써넣은 '기여' 가 '학계의 기여' 인지 '기술적 기여' 인지 어떻게 판단하고 어떻게 지적하고있는거임?
지니(ud6umt3mpv8r)2024-05-25 03:32
답글
너는 지금 내가 제목에 쓴 단어를 '학계의 기여' 라고 기정사실화 해놓고 본인은 논리적이라 생각하면서 지적질하는중임 메타인지 안됨? 자 말장난 하니까 어때 시발럼아
지니(ud6umt3mpv8r)2024-05-25 03:32
답글
대체 학계의 기여랑 기술적 기여랑 구분하는 이유가 뭔데? 이 논문을 바탕으로 앞으로 어떠한 기술적 발전이 있으리라고 스스로 예측 가능한거임?
익명(115.139)2024-05-25 03:33
답글
말장난이 아니라 논문 초록이랑 결론 고대로 퍼오면 무슨 의미가 있냐는거야. 너가 주장하는바를 증명하는데에 있어서
익명(115.139)2024-05-25 03:33
답글
내가 구분한게 아니라 니가 구분했다고 병신새끼야 내가 저 단어를 '학계의 기여' 라고 니가 기정사실화 함으로서 내가 마치 그렇게 의미를 확립한거처럼 말했다고
지니(ud6umt3mpv8r)2024-05-25 03:33
답글
나는 그 어떤것도 주장한적이 없는데 이 논문이 장기기억에 기술적 기여를 했다는것은 팩트이고 그 팩트 그대로 가져왔을뿐임
지니(ud6umt3mpv8r)2024-05-25 03:34
답글
애초에 왜 기술적기여/학술적 기여 가 나뉘는건데ㅋㅋㅋㅋㅋㅋ 아오
익명(115.139)2024-05-25 03:34
답글
설마 12개의 컨텍스트 공간만으로 150개의 컨텍스트를 유지했다는 기술적 팩트를 '주장' 이라고 말하진 않겠지? 너는 자동차가 너를 치였고 니 몸이 박살났는데 "자동차는 지금 나의 몸을 박살냈다고 '주장' 하고있다" 라고 말하고싶은거임?
지니(ud6umt3mpv8r)2024-05-25 03:35
답글
니가 구분했다고 이 병신 난독증 환자새끼야
지니(ud6umt3mpv8r)2024-05-25 03:35
답글
내가 미안해 너가 맞음
익명(115.139)2024-05-25 03:36
답글
"이 논문이 학계에 어떤 영향을 끼쳤냐" <-- 라고 니가 말한거 기억안남? 내가 저 '기여' 라는 단어를 '학계의 기여' 라고 의미를 니 멋대로 확립화함으로서 논리적인 오류를 일으키고 있는거 이해안됨?
최근에 뭐든 통제하는 거 보면 줘도 못 받아 먹을 듯
해당 댓글은 삭제되었습니다.
반복적인 시간 진화의 결과, 과거 시퀀스의 토큰 상태가 현재 시퀀스의 토큰 상태를 먹어치움으로써 제한된 크기의 시퀀스에 대해 적은 메모리만으로도 분리된 시퀀스 간의 주의가 무한한 맥락 정보를 유지하는 것이 가능해지는 것을 논의합니다. 실험에서는 입력 토큰 윈도우 크기를 12개로 설정하고 24GB 메모리를 가진 GPU 1대를 사전 학습에 사용했습니다. 150개 이상의 길이 컨텍스트가 보존되는 것을 확인했습니다.
"무한한 맥락 정보를 유지하는 것이 가능해지는 것을 논의합니다. 실험에서는 입력 토큰 윈도우 크기를 12개로 설정하고 24GB 메모리를 가진 GPU 1대를 사전 학습에 사용했습니다. 150개 이상의 길이 컨텍스트가 보존되는 것을 확인했습니다."
컨텍스트 공간의 크기가 12개로 설정해놓았는데도 불구하고도 150개 이상의 컨텍스트를 유지시킬 수 있었음
논문에서 주장하는바를 고대로 퍼오는게 논문의 의의를 주장하는데 있어 어떤 의미를 갖는거임?
니 질문에 정답이 있는데
그리고 '주장' 하는게 아니라 실험의 결과 로 나타난 '팩트' 임 실제로 저게 되니까 대규모 모델에 대한 장기기억의 가능성을 내포하는거고
너가 제목에 써놨잖아 '기여'라고. 애초에 실험 규모도 작고 추가 연구도 거의 안 되어있지만 그걸 떠나서 기여한걸 들고와야 하지 않겠니?
이새끼는 왜 질문에 정답을 담아서 묻지? 순환논법의 오류를 일으키고 싶은건가
너가 의미있는 논문이라 생각함-이라고 적었으면 내가 태클을 안 걸었겠지
장기기억의 실마리를 소규모의 모델에서 찾아냈다는것만으로도 인공지능 자체에 대한 기술적 기여지 아님머임?
너 지금 단어하나가지고 말장난하냐?
너 지금 단어하나가지고 말장난하고싶은거면 논리학으로 접근해드림?
내가 저 제목에 써넣은 '기여' 가 '학계의 기여' 인지 '기술적 기여' 인지 어떻게 판단하고 어떻게 지적하고있는거임?
너는 지금 내가 제목에 쓴 단어를 '학계의 기여' 라고 기정사실화 해놓고 본인은 논리적이라 생각하면서 지적질하는중임 메타인지 안됨? 자 말장난 하니까 어때 시발럼아
대체 학계의 기여랑 기술적 기여랑 구분하는 이유가 뭔데? 이 논문을 바탕으로 앞으로 어떠한 기술적 발전이 있으리라고 스스로 예측 가능한거임?
말장난이 아니라 논문 초록이랑 결론 고대로 퍼오면 무슨 의미가 있냐는거야. 너가 주장하는바를 증명하는데에 있어서
내가 구분한게 아니라 니가 구분했다고 병신새끼야 내가 저 단어를 '학계의 기여' 라고 니가 기정사실화 함으로서 내가 마치 그렇게 의미를 확립한거처럼 말했다고
나는 그 어떤것도 주장한적이 없는데 이 논문이 장기기억에 기술적 기여를 했다는것은 팩트이고 그 팩트 그대로 가져왔을뿐임
애초에 왜 기술적기여/학술적 기여 가 나뉘는건데ㅋㅋㅋㅋㅋㅋ 아오
설마 12개의 컨텍스트 공간만으로 150개의 컨텍스트를 유지했다는 기술적 팩트를 '주장' 이라고 말하진 않겠지? 너는 자동차가 너를 치였고 니 몸이 박살났는데 "자동차는 지금 나의 몸을 박살냈다고 '주장' 하고있다" 라고 말하고싶은거임?
니가 구분했다고 이 병신 난독증 환자새끼야
내가 미안해 너가 맞음
"이 논문이 학계에 어떤 영향을 끼쳤냐" <-- 라고 니가 말한거 기억안남? 내가 저 '기여' 라는 단어를 '학계의 기여' 라고 의미를 니 멋대로 확립화함으로서 논리적인 오류를 일으키고 있는거 이해안됨?
한국어로 설명해줄수 있을까
115.139는 머리가 안좋은애야 이해해
일침병걸린 친구임