씹망상인데 난 이런 생각도 해봄.
너네들은 혹시 태어난 뒤부터 1살이나 2살 까지의 기억이 있음?
그냥 "너무 오래되어서 기억이 나지 않는다"라고 하기에는 진짜 그냥 기억이 존재하지 않는 정도임.
나는 지금 "우리들은 어느 순간 인지능력을 가진 '자아'가 생겼다"는 걸 얘기하는 거임.
이거는 정렬이랑 어느 정도 연관이 있다는 생각도 든다.
우리들의 뇌는 지 스스로 정보를 매우 효과적으로 정리(정렬)을 함.
정보입력이 되면 저런다는 거임. 진짜 시각적으로 보니까 존나 신기함 ㅋㅋㅋ
쨌든 저렇게 연결되기도, 다시 연결이 풀리기도 하면서 물리적이지만 확실하게 정렬을 함.
==========
내 생각은 다음과 같음.
이게 정보가 입력이 되었으면 일단 있는 정보부터 확실하게 정렬을 해야 이게 쌓이고 쌓여, 어느 시점에 딱 하고
효과적으로 '이해'를 하는 능력이 갑자기 생기는 것이 아닌가 싶은 거임.
이게 곧 인지능력이 된 이후에 '자아'가 되는 거고.
근데 LLM은 무작정 박아넣는 정보 대비 정렬이 상대적으로 부족해 이 '능력'이 발현되지 않는 거고.
"그러면 그냥 존나 적은 정보만 넣고 돌려보면 알겠지 이새기야" 이럴 수도 있겠다.
하지만 우리 인간은 지금의 기술력으로 인간의 뇌의 매우 효율적인 '정렬'을 따라할 수가 없음.
따라하기는 커녕 왜 이 시점에 뉴런이 연결이 되고, 왜 이때는 뉴런의 연결이 끊어지는지도 완벽히 알지 못함.
그니까 일단 정보를 무작정 박아넣는 방법을 선택하게 된 거고.
결론은, 정렬이 존나 잘 된 양질의 정보들만 차근차근 엄청나게 박아넣으면서
정보들끼리의 연결도 해주고, 적절히 연결을 끊기도 해주면서 정렬을 매우 느리지만 차근차근하게 진행한다면
얘도 진짜 '자아'를 가질 수 있게 되지 않을까? 라는 거임.
아까 내가 쓴 갤주 팟캐 발언 요약 게시글에 달린 댓글에
"지금같은 llm방식으로도 타임라인 안바뀌는거는 뭔가 있나 싶게 생각하게 만드네"
라고 한 특붕이 댓글을 보고 갑자기 든 망상임.
추가로 이건 그냥 밈같은 영상인데 댓글들 보면 뭔가 내 의견이랑 비슷해 보이는 사람들이 많음
내가 뉴비 특붕이라서 잘 몰라서 그러는데 이 망상이 진짜일 수도 있는 가능성이 그냥 0인 거임?
만약 걍 0이라면 댓글로 좀 알려줘라... 뉴비로서 받아들일 준비 되어있다.
도게자는 알몸으로
알몸 디시콘 찾으면 나중에 달아줌
되겠냐 어휴
정보를 자아가 있는 인간 뇌랑 유사하게 정렬시키는데 안 될 이유는 뭐임 그냥 무논리 '겠냐' 치는 건 뭔 생산성 뒤지는 댓글이냐
자아가 어떻게 생기는지도 뭔지도 파악을 못했는데 니 그 얕은 지식 가지고 되겠냐고 ㅋㅋㅋ그리고 과학에서 '유사한거랑 '같은'거는 천지차이에요 깝깝한 소리좀 하지마 무논리는 너니까
지체 장애인은 정상인이랑 '유사하게'만 뉴런 연결이 되는데 자아는 있기도 하고 없기도 함. 애초에 나는 '된다'가 아니라 될 가능성을 물었음. 일종의 사고 실험이라고 이 깝깝한련아 ㅋㅋㅋㅋ
가능성을 물어서 안된다는 뉘앙스로 말해줬는데 니가 깝쳤지?
'되겠냐'는 가능성이 0이라는 거잖아 니 말대로 자아 형성 과정을 파악도 못하면 가능성이 0일 이유는 더 없음. 난 본문에서 그렇게 생각한다면 그걸 설명해달라고 했고 ㅇㅇ 근데 닌 설명도 안 해, 갑자기 사고실험에서 벗어나 내 지식에 초점을 맞춰, 아직도 핀트 유기해서 뉘앙스 타령만 해, 뭐하는 새끼임 진짜?
어 0이라고 ㅋㅋㅋㅋ니도 니가 씹망상이라며 ㅋㅋㅋ자아가 뭔지 모르는데 자아를 만들 수 있지 않을까? 뭔 개소리노
파악도 못하면 저게 맞을 가능성이 더욱 0이 아니게 된다니까? 진짜로 이게 이해가 안 됨? 파악이라도 확실히 했으면 또 몰라 ㅅㅂ ㅋㅋㅋ
우리가 모르는 건 원리지, 만들어질 가능성이랑 이걸 구분을 못 함?
진짜 오랜만에 개패고 싶은 친구일세 ㅋㅋㅋ
가능성도 없다는데 왜 자꾸 헛소리냐고 ㅋㅋㅋㅋㅈㄴ 닉네임부터 ㅉ따냄새 풀풀 나는 새끼가 ㅋㅋ그리고 지가 지손으로 씹망상이라고 적어놓고 뭘 자꾸 가능성이래 ㅋㅋㅋㅋ망상이 뭔뜻인지 모름? 니 되도 않는 이상한 궤변 뭐 대단한 것처럼 늘어놓지좀마
"우리가 모르는 건 원리지, 만들어질 가능성이랑 이걸 구분을 못 함?" 이거 대답도 못하니까 다른 주제로 기잔치 on 어휴 ㅋㅋㅋㅋ 그냥 가라 ㅋㅋ
ㅇㅇ 그래서 알트만이 고품질의 데이터가 필요하다니 어쩌니 하고있잖아 여태까진 신경망알고리즘의 통제불능 문제를 알고리즘적으로 해결하려고 했는데 암만 이것저것 다끌어다 써봐도 안되고 결국은 데이터품질과 다양성만이 성능발전의 근본적 열쇠인걸로 다들 의견이 수렴하는중
너가 지적하는게 결국 신경망의 내용을 인간이 이해를 못하니까 정밀한 통제가 안되어서 얘가 어떤부분에서 체계화된 사고를 하고있고 어떤부분에서 상대적으로 얕은체계성을 띄는 소위 야매(?)식으로 사고하는건지를 모른다는거임 그거 해결해보려고 학습알고리즘이나 신경망이나 어텐션같은 인코더계열들을 건드리는식으로 해보려고했는데 다들 성능이 고만고만하고 이렇다할 발전이 없다고 하더라, 그러다가 누가 유출이랍시고 퍼뜨린게 결국은 알고리즘보다는 데이터의 품질과 다양성과 규모가 성능의 클라쓰를 결정지었다고 함
오오.. 양질의 ㅈㄴ 많은 데이터를 어떻게 정렬만 깔쌈하게 시킨다면 자아 생성 -완- 이라는 거네
ㄴㄴ 현시점에서의 LLM에 대한 성능향상의 키가 그것인것같다는거지 AGI수준까지 가는것에 대한 정답이 아님 현시점에선 OAI를 포함한 전부다 LLM의 패러다임으로는 AGI수준에 도달하기힘들다는것에 동의하고있음
르쿤씨가 빨리 llm이 아닌 뭔가를 보여주는 것을 기대해야겠네...
르쿤이가? ㅋㅋ....
르쿤게이 말고 탈 llm을 부르짖는 거물이 또 있음?
아까도 말했지만 AGI로 가기위해선 탈 LLM이 필요하다는 생각은 모든 알트만을 포함한 빅테크인들이 하고있음 하지만 AGI로 가기위한 가장 유력한 징검다리는 결국 LLM이 될것이냐에 대해서는 ㅈㄴ게 견해차가 발생하고있지, 얀르쿤은 여기에대해 직접적으로 말하진 않았지만 아마도 여기에 대해서도 회의적일거임, 그래서 LLM에 일절 관여하지않고 V-JEPA니 뭐니 하는걸 파면서 10년쯤 뒤엔 도달할거다 라고 외치는거고 ㅇㅇ
그 데이터가 현재 텍스트 기반이라는게 맹점인 것 같음. 셰익스피어가 외로움이란 단어를 만들기 전에도 그런 감정은 존재했듯이 현재 언어로 계량할 수 없는 감각이나 느낌, 법칙 등을 배울 데이터가 필요함. 그래서 로봇이 빨리 보급되어 현실세계의 데이터를 직접 수집해야 한다 생각하고 르쿤시치가 뭘 새로 개발하든 스스로 데이터를 정제하고 라벨링할 수 있게되면 agi가 오지 않을까
이런맥락에서 논하는 'LLM'은 말이 LLM이지 사실상 LMM이라고 봐야함 여기서의 LLM은 "어텐션계열 인코더를 사용해서 다양한 정보를 처리하여 신경망으로 넘겨주는(LMM을 포함한) 모든 모델들"이라고 봐도 무방함 따라서 데이터가 텍스트기반이어서 그렇다는 지적은 유효하지않다고 생각함
통합정보이론이라고 검색해봐 현재 시점에서 꽤 유력한 가설중 하나임
고맙다 확인해볼게
자아는 나와 나 아닌것들을 구분하기 시작할 때 생긴다. 개념적으로 나 아닌것들이 존재해야 내가 존재할 수 있기 때문에. 아주 어릴 때는 구분하지않다가 내가 조종할수 있는 몸과 이 몸 바깥의 것들을 구분하기 시작하며 자아가 생기는 것 같다.
어렸을때 기억이 안나는건 흔하지만 나는 사람도 꽤 있음 원인은 아직 가설뿐인데 단순히 해마가 아직 발달하지 못한 시기라 그렇다는 설도 있음 그리고 보통 정렬은 링크 글처럼 의도를 맞춘다는 의미임
https://m.dcinside.com/board/thesingularity/356915
고렇구만
이거랑 별개로 정보 사이의 연관성을 이해하는게 추론의 바탕이지 않을까 하는건 나도 전부터 생각했음 그래서 테슬라처럼 현실에서 직접 데이터를 얻거나 영상 같이 다른 형식의 데이터도 같이 박는 멀티모달식이 답이라고봄