20년전에 한 학기 과제로 OCR 용 신경망을 소스를 좀 이것저것 테스트를 해본 경험은 있는데요.
요즘 알파고나, GPT의 디테일 같은 건 전혀 모르겠네요.
그래서 질문 좀 하겠습니다.
제 질문은 데이터 저장에 대한 것입니다.
제가 듣기로는 GPT 3.5는 인터넷에 연결되어 있지 않아서 검색을 하지 않고,
GPT4는 검색을 해서 보다 정확한 정보, 수치?를 제공한다고 알고있습니다.
그렇다면 GPT3.5를 기준으로요.
세종대왕의 생일을 물었을떼 3.5 정도면 정확한 날짜를 알려주잖아요.
물론 학습한 참고한 문서 데이터에 1397년 5월 15일 이라는 정확한 날짜가
들어 있었겠지만, GPT3.5가 대답할 때는 실제로 학습한 참고 문서들을
통째로 저장한 하드디스크나, SSD, 롬, 램을 갖고 있지는 않는거죠?
단지 학습된 신경망 노드와웨이트 값만 램에 저장하고 있을텐데,
그 안에 새종대왕의 생일도 아인슈타인의 생일도, 그외의 모든 사실들,
상대성이론의 원리나 모든 학습된 데이터가 들어 있는거죠?
별도의 저장 공간을 갖지 않고 신경망으로만 정보를 저장(기억)하고 있다면,
byte 수로 따져 보더라도 정보가 엄청 압축되어 있다고 생각해야 하나요?
결론 GPT3.5는 구조적으로 별도의 문서 저장공간을 갖고 있는구조는 아니죠? 맞나요?
gpt4도 검색 안해요~
그럼 통칭해서 GPT는 별도의 텍스트 저장공간을 갖고 있는건 아니죠?
문서를 전부 학습시켰다고 보는게 맞는듯
그렇다면 실제로 특정 숫자 정보를 틀리는 경우도 있을까요? 그리고 대략적으로 학습한 문서량 대비 신경망의 크기를 비율로 따졌을떄 정보가 몇배로 압축되었다고 볼 수 있을까요?
틀리는 경우 있음 법 물어보면 엄청 틀림
맞아요. GPT-3.5는 구조적으로 별도의 문서 저장 공간을 가지고 있지 않습니다. 이 모델은 대규모 텍스트 데이터를 학습하여 신경망 노드와 웨이트 값을 조절함으로써 정보를 저장하고 기억합니다. 따라서 특정 사실, 날짜, 인물의 생일 등의 정보는 모델이 학습한 데이터와 가중치 값으로 표현되며, 실제로는 이러한 정보를 하드 디스크, SSD, 롬, 램과 같은 별도의 저장 공간에 따로 보관하지 않습니다. 이 모델은 입력된 질문 또는 문장에 대한 답변을 생성할 때, 그 순간에 학습된 지식과 가중치를 사용하여 적절한 답변을 생성합니다. 이러한 정보는 실제로는 매우 압축되어 있으며, 모델 자체의 구조와 파라미터로 저장되어 있습니다. 따라서 GPT-3.5는 외부 데이터베이스나 별도의 저장 장치 없이 정보를 생성하고 제
환각 문제만 없다면 정보의 압축이라고 볼 수도 있겠네 엔비디아의 영상 압축 기술도 이 느낌이랑 비슷한듯함
https://gall.dcinside.com/mgallery/board/view/?id=thesingularity&no=97809&page=1
인간의 뇌가 정보를 저장할 때 뉴런과 뉴런 사이의 시냅스에 정보 저장하는 거로 아는데 gpt도 신경 노드와 노드 사이의 weight에 정보가 저장될거예요 - dc App
ㅇㅇ 가중치값 안에 기억과 추론능력이 지저분하게 짬뽕되어있음
넵, 그래서 일반적인 정보가 예쁘게 저장되어 있고 그걸 검색해서 ram에서 들고오는 형태가 아닌 걸로 알아요. 아마도, 가중치라는 형태로 이해할 수 없는 숫자모음으로 압축되어 있고, 그 가중치에 따라서 대답을 하면 신기하게 맞는 대답인거죠. 그러다보니까, 잘못된 대답이나, 숫자 같은 건 잘 틀리는 듯.
그...비유 많이 쓰잖아요. 이전에 프로그래밍은 재료를 입력 시키고, 레시피를 만들어서, 빵을 만드는 구조라면 현재 AI는 빵이랑 재료를 보여주면 레시피를 뽑아내는 구조. 레시피가 가중치.
https://gall.dcinside.com/mgallery/board/view/?id=thesingularity&no=359620&s_type=search_subject_memo&s_keyword=.EC.95.95.EC.B6.95&page=1
딥마인드가
그렇다고 함