[일반] 짐켈러 이 사람 반신이네

[천재까마귀(ztnp9v9lnt31)]

대기업 CPU 설계는 다 이사람이 손대는 작품들이네

21세기의 폰노이만급 인물인듯

[익명(1.247)]

이 자는 특갤의 보배인데스

[익명(175.206)]

짐 켈러는 예전에 BERT 모델. 그니까 GPT보다 성능 좀 떨어지는 언어모델 있을 때도 걔를 보고서 AI가 세상을 이해하는 쪽에 가깝다고 얘기 했었음. 그래서 특갤에선 지지 받는 인물이지.

[익명(220.116)]

AI가 세상을 이해하는 쪽에 가깝다 << 무슨말임?

[익명(175.206)]

그..언어모델이 그냥 확률적으로 단어를 내뱉는 거 아니냐. 그럼 그냥 확률 앵무새일 뿐이지 이게 세상을 이해하는 건 아니다. 언어모델에 대해서 이런 비판이 있었음. 그리고 사실 언어모델이 언어 생성하는 과정이 이게 맞긴 해. 근데 짐켈러는, 이해라는 건, 지식의 총합이 아니라, 정보 간의 관계의 합이다. 라고 말했음. 즉, 사과에 대해서, 맛이 어떻고, 색이 어떻고, 영양분은~~~ 하는 지식의 총합은 이해가 아니지만. 사과는 과일들과 가깝고, 자동차랑은 멀고, 요리랑은 가깝고. 이런 관계를 알면 이해에 가깝다고 했음.

[익명(175.206)]

근데, 언어모델은 언어를 학습할 때, 벡터로 바꾸고, 벡터들을 통해서 언어간의 관계를 습득하거든. 그러니까....왕이랑 여왕이 떨어진 벡터 거리가, 남편이랑 아내 간의 거리랑 비슷함. 언어모델은 이런 관계를 파악하고 단어를 내뱉기 때문에 이해에 더 가깝다고 생각한다고 짐 켈러가 그랬음. 이게.......아마 작년 중순인가에 MIT에서 강연할 때 했던 말임. 무어의 법칙도 여전하다고 밝히기도 했고, 쨌든 당시로도 꽤 앞서나간 생각 같았음.

[익명(220.116)]

메타인지 << 기계는 할수없는 인간만의 능력 이라는 주장도 이제 무색하겠네 사실 인간보다 월등하게 빠른 속도로 앎과 모름을 판단하는데 메타인지라는 개념 자체가 의미가 있나 싶기도하고...

[익명(175.206)]

내용을 좀 더 정리하면 언어모델은 단어를 확률로 내뱉는 게 맞다. 이해는 정보의 총합이 아니라, 정보간의 관계의 합이다. 그런데 언어모델은 확률을 생성하는 과정에서, 단어 간의 거리를 토대로 생성하니까 이해에 가깝다.

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[부패하는유전자!!!(sansss2015)]

사실 AI 개발에서 하드웨어가 제일 중요한 요소임...

[천재까마귀(ztnp9v9lnt31)]

ㅇㅇ 이미하고있음 . AI칩 스타트업 창업함. 삼성,현대도 투자함.

[디시콘발사대(fcbjsjmu1t9f)]