데이터로 현실세계를 이해하고 기초 원리를 학습하는 게 아니라
결국 걍 때려박은 만큼 출력하는 시스템이 문제라는거아니냐
그걸 확률기반으로 전개하는거고
예를들어 어린아이는 부모가 숟가락으로 밥퍼먹는거 보고 지가 몇번해보면 숟가락으로 음식을 퍼서 이빨로 씹고 식도로넘기는 일련의 행위를 본능처럼 학습함
그럼 이아이는 숟가락으로 국도 퍼먹을수 있고 고기조각이 들어간 스튜도 퍼먹을수있음
숟가락 몇번 쓰다보면 포크로 고기반찬도 찍어서 먹을수있을거임
근데 AI는 숟가락으로 국퍼먹는거 스튜 퍼먹는거 하나하나 데이터 넣어줘야된다는거지
숟가락 데이터만 있는 상태에선 포크는 여전히 사용할줄 모르고
결국 이해라는 개념이 빈약해보인다는거
그래서 멀티모달로 인간이 이해하는것처럼 보이게끔 하는것에 주력하는거같음
이미지를 인식하거나 소리에서 소리로 즉각 대응하게끔하고 감정섞인 어투를 표현하는데 주력하는것
근데 결국 이것도다 정교하게 뽑은 트랜스포머잖아
트랜스포머 자체가 걍 특정 입력을 재현하도록 인공신경망에 복잡하게 얽혀진 선형적인 대응 함수를 레이어드해서 조온나게 많이해서 때려박는거 아님?
그래서 스케일이 전부라고 하는거고
그래서 OAI 어떤 연구원이 모델이 데이터셋 그자체다라고 했던거고
그래서 허구헌날 얀르쿤이 인간데이터를 똑같이 재현할뿐인 현재 시스템은 고양이 지능도 안된다고 하는거고
지금 수능 킬러문항 같은것도 몇번 하다보면 답은 찍어서 맞춤 근데 풀이 과정에서 논리전개 없이 찍어서 하니까 문제인거지
이게난 데이터가 아예 없는건 아닌데 풀이 과정에 대해서 또 트랜스포밍 해줘야되는게 덜되서 그런거라고 생각함
코딩 성능 오른것도 걍 스택오버플로우 같은데랑 제휴맺으면서 거깄는거 싹다 긁어서 그런거같음
이대로가면 데이터 좋은거 더긁어서 더넣으면 언젠가는 고수준 언어영역 추론문제도 풀긴할거임
근데 그게 진짜 추론 능력이 생기는것을 의미하는건 아닐꺼같음
결국 인간꺼 그대로 카피하는수준이면 특이점같은건 없는 얘기라는거지
어느정도 노동대체는 가능할듯
그러니까 초정렬이고뭐고 깝싸지 말고 풀가속때려야 된다는거고
지금 규제가 없어서 간신히 이정도인거같음 데이터셋 강제오픈 같은 이상한거 하나라도 생기면 데이터 뺏다 꼇다 지랄하다가 바로 성능 좆박을듯
그래서 얀르쿤이 허구헌날 규제없이 가야 AI업계가 발전한다는거고
나도 그소리가 맞는거같음
넌 틀림
샘알트만이 이미 몇 개월 전에 고품질 데이터로 think harder라고 힌트를 남겼음. 걱정 안해도 됨
근데 인간입장에서 진짜추론인지 가짜 추론인지보다 결과가 더 중요한거 아님? asi까지 가는 방법으론 적합하진 않겠지만
완몰가 역노화가 안오면서 인간 일자리만 쳐내면 의미가없다는거지 걍 편리한도구쯤으로는 쓸수있어도