[일반] 근데 데이터라는게 대체 뭐노 ㄹㅇ

[비닌(yoda1876)]

책, 영상, 팟캐스트 등등을 ai한테 갖다박으면 학습해서 발전한다... 대충 이건 알겠는데

대체 어떤식으로 학습하고 발전하는건지 궁금함

[익명(221.155)]

ㄹㅇ 개 씨발 뭐노 대체

[익명(221.155)]

뭐노머노머노머농머농머농농농

[나진(doom3750)]

샘플 데이터로부터 전체 데이터 분포를 추정하는 것 - dc App

[나진(doom3750)]

강아지 사진 x를 입력으로 넣었을 때, 입력 데이터 x가 원본 데이터 분포(전체 강아지 사진) 안에 속할 확률을 다른 데이터 분포(전체 고양이 사진) 안에 속할 확률보다 높게 추정하도록 학습하는 것 - dc App

[비닌(yoda1876)]

ㅇㅎ... 그럼 결국 데이터에 기반한 확률게임이라는거네? 흠.... - dc App

[나진(doom3750)]

그렇지.. 근데 이건 통계적인 관점인거고, 그냥 좀 더 직관적이고 쉽게 바라보자면, 입력 쪽 신경세포들이 여러 개 있고, 이 신경세포들은 각각 데이터에 따라 활성화 되는 패턴이 다름.1~100 개중 3,9,32번째만 활성화 됐다 치자, 이 때 연쇄적으로 그 후에 활성화되는 신경세포들은 이전 신경세포 활성화 패턴에 따라 달라짐. 이게 연쇄적으로 발생해서 결국, 입력이 dog이면 출력이 그와 연관된 신경세포 활성화, 이런 식 - dc App

[나진(doom3750)]

결국 뉴럴넷은 "연상작용" 하나로 설명 가능함. 분류도 연상작용, 생성도 연상작용 - dc App

[나진(doom3750)]

퍼셉트론 맥컬럭 피츠 뭐시기뭐시기 현대 dnn의 시초가 얘네들은 맞는데, 진짜 발전은 홉필드에서 시작됨. 홉필드 네트워크 찾아보셈. - dc App

[비닌(yoda1876)]

근데 뇌가 연상작용으로 작동할수도 있잖아 생각해보면 뇌도 데이터가 없는 상황에서는 사고를 못함 주워진 상황을 뇌에 넣고 조합하는거지 이런 관점에서 생각하면 스케일이 다라는것도 납득이 되네 - dc App

[나진(doom3750)]

ㅇㅇ 뇌도 연상작용임. 그리고 데이터가 없는 상황에서는 사고를 못한다는 거는, 인풋 데이터의 범위를 어디까지 정의할거냐에 따라 다름. 예를 들어, 시각, 촉각, 후각, 미각, 청각을 최대한 차단할 수 있는 어떤 공간에 사람이 들어간다 치자. 물론 몇시간이 지나면 정신착란오고 미치기야 하겠지만 어느정도는 계속해서 뇌가 활동하고 사고도 지속할 수 있음. 근데 장기에서 오는 감각 데이터 또한 입력 데이터로 볼 수도 있지. 하지만 그게 과연 방안에서 하는 사고의 100프로를 차지하진 않을 수 있음. 여자 생각을 할 수도 있고 게임 생각을 할 수도 있겠지. 암튼 중요한 건 뇌는 일종의 순환 루프를 가진다는 거임. 현대 dnn(transformer)은 이런 순환 루프를 버림. 대신에 계속해서 - dc App

[나진(doom3750)]

계속해서 자신이 생성한 단어를 붙힌 문장을 다시 입력데이터로 넣고 또 자신이 생성한 새로운 단어를 붙힌 문장을 다시 입력데이터로 넣고 하는데, 생성한 텍스트까지 하나의 시스템으로 본다면 뭐 일종의 순환 루프를 가졌다고 할 순 있겠지. 문제는 이게 모델 자체에 내장되는 순환 루프가 아니라는거임 - dc App

[비닌(yoda1876)]

모델 자체에 내장되는 순환루프가 아니라는 말은 뭔말임? - dc App

[나진(doom3750)]

순환루프:작업기억 가중치:장기기억 으로 생각할 수 있는데, 여기서 작업기억은 인간의 경우 진짜 ㅈ도 아니게 짧음. 실험에 의하면 일반인은 7개 단어 정도를 작업기억으로 가짐. llm의 경우 순환루프로 작업기억을 구현하는 대신, 트랜스포머의 어텐션으로 이를 대체함. 이게 rnn->트랜스포머로의 발전 과정임. 여기서 장기기억까지 해결이 된다면 진짜 agi가 만들어질 수 있지. 근데 지금 그게 안되서 컨텍스트 창을 천만까지 늘리고 그러는거. 근데 이것도 결국 장기기억이 해결이 안되면 한계에 부딪힐 수 밖에 없음. 여기서 말하는 장기기억은 파괴적 망각을 피하면서 장기기억 생성을 하는 것임. 망각하면서 장기기억 자체는 쉬움. - dc App

[나진(doom3750)]

모델 자체에 내장된 순환루프가 아니라는건, 문장 자체(토큰)을 모델과 다른 시스템으로 구분해서 보자면, 모델은 지 혼자 생각할 수가 없다는 말임. 문장 자체와 모델을 하나의 시스템으로 보자면, 그 시스템을 혼자 생각할 수 있다고 볼 수 있음. - dc App

[나진(doom3750)]

암튼 그래서 힌튼도 그렇고 현재 LLM 만드는 알트만이든, scale is all you need 외치는 연구자들이든, LLM 또는 LMM이 최종적인 인공지능 구조가 아니라는 데에는 동의함. 그럼에도 불구하고 계속 스케일 늘려가면서 LLM 성능 올리는건, 분명 한계가 있는 LLM이지만, 만약 이 LLM이 충분히 똑똑해진다면, 이놈이 결국 최종 진화형 아키텍쳐를 설계하는 데에 도움을 주거나 혹은 지 혼자 만들어버릴 수도 있다는 데에 있음. - dc App

[비닌(yoda1876)]

흠.. 근데 뇌도 결국은 혼자 생각할 수 없다는건 똑같잖아 - dc App

[비닌(yoda1876)]

여튼 존나 쉽게 이해됐음 현재로서는 llm이 답이라는거구만 장기기억이 답인 이유는 뭐임? 장기기억으로 가야 환각이 없어지니까? - dc App

[나진(doom3750)]

컨텍스트 창만 키우는건 물리적으로 한계가 있으니까.. 근데 그 전에 llm이 지나치게 똑똑해져서 새로운 아키텍쳐를 지혼자 만들 수도 있음. 이게 힌튼이 요새 계속 주장하는거임. 내가 준비도 없이 막 쓴 댓이라 약간 이해하기 어렵게 쓴 부분도 있을텐데, 댓글 복붙해다가 클로드한테 뭔말인지 설명해달라 하면 잘 설명해줄거임. 내가 해봤는데 나보다 설명 잘하네 - dc App

[비닌(yoda1876)]

친절한 설명 ㄱㅅ - dc App