[일반] 특갤 하면서 진짜 충격 받은 순간

[익명(asdf045)]

https://m.dcinside.com/board/thesingularity/139638?page=1&recommend=1&s_pos=-138767&s_type=subject_m&serval=%EC%88%98%EC%B8%A0%EC%BC%80%EB%B2%84

오픈AI 수석과학자 일리야 영상에서 이 부분 진짜 인상적인듯..

텍스트는 그 데이터를 생성한 실제 과정의 압축된 표현이며 이를 통해 근본적인 현실에 대한 모든 것을 학습할 수 있음




표면적으로는 텍스트의 통계적 상관관계를 학습하는 것처럼 보일 수 있지만, 실제로는 텍스트의 통계적 상관관계를 학습하는 것은 이를 잘 압축하는 것으로 드러났습니다. 신경망이 학습하는 것은 텍스트를 생성한 프로세스의 일부 표현입니다. 이 텍스트는 사실 세상을 투사(projection)한 것입니다. 세상에는 이 텍스트에 투사된 세계가 존재하고, 그 세계는 이 텍스트에 투사되어 있습니다. 따라서 신경망이 학습하는 것은 세상, 사람, 인간의 조건, 희망, 꿈, 동기, 상호 작용 및 우리가 처한 상황에 대한 점점 더 많은 측면이며 신경망은이를 압축적이고 추상적이며 사용 가능한 표현을 학습합니다. 이것이 바로 다음 단어를 정확하게 예측함으로써 학습되는 것입니다.




일리야 수츠케버의 인터뷰를 보면서 정말 놀랬던 순간임
언어는 인간의 세상을 압축해서 표현한것이며 이를 학습 시키면 인공지능은
월드 모델을 형성해 나간다는 점  AI가 세상을 이해하고 있다는게
agi가 멀지 않음을 느꼈던 순간임

[익명(211.46)]

오르가즘 느낌?

[부패하는유전자!!(sansss2015)]

난 저거보고 1분동안 천장 쳐다 보면서 전율을 느꼈음

[익명(asdf045)]

오픈ai가 말하는 agi 타임라인에 대한 확실한 근거를 알게 되서 충격이었음

[부패하는유전자!!(sansss2015)]

언어의 한계는 세계의 한계다... 캬 다시봐도 명언

[익명(dlwo0827)]

나도 언어모델이 그림그려주는거 보고 놀랐다

[Focal(7vcbnm)]

비트겐슈타인은 천재다. 일리야 수츠케버도 천재다.

[익명(221.144)]

나는 짐 켈러가 MIT였나 스탠포드에서 강연했던 거. 작년 영상이었던 것 같은데. 언어모델도 바트정도 나온. 거기서 짐 켈러가, 이해라는 건 지식의 총합이 아니라, 정보 관계의 총합이라고 했던가. 사과에 대해서 백과사전 지식을 넣어도 이해가 아니고 그냥 정보일 뿐이지만 사과가 배, 자두에 가깝고, 자동차에 멀고, 컴퓨터랑 멀지만. 때론 어느 IT 회사랑 가깝다는 관계 정보는, 사과를 이해했다고 볼 수 있다는 말이었음. 그래서, 짐 켈러는 AI는 이해를 하는 존재라고 설명했을 때 띵 했음. 막연히 openAI가, 텍스트로도 세상을 이해할 수 있다고 본다. 다만 느리니까 멀티모달로 할 뿐. 이라는 말도 이해가 됐고.