[일반] 조지 호츠 : GPT-12 나와도 agi는 아닐듯

[익명(119.67)]

몬가 새로운게 필요하다고 보고 있음

[익명(115.138)]

https://m.dcinside.com/mini/linear/6976

[익명(115.138)]

여기 갤럼들은 트랜스포머+강화학습(+멀티모달) 기반 LLM을스케일 확장만 계속 하다보면, AGI 될 수 있다고 희망회로 돌리고, 반대하면 ㅈㄴ 선형충 몰이하던데 걍 말도 안되는 소리임. 트랜스포머는 이제 끝물이고, 알파고급 패러다임 혁신이 2~3번은 더 일어나야 함. 여기 갤럼들이 그렇게 물고빠는 수츠케버도 이에 동의했고.

[익명(good110)]

그러면 존나 멀었다는거네??ㅠㅠ

[익명(115.138)]

ㄴ 난 개인적으로 2035~2043 정도로 보고있음 무슨 일론이니 하사비스니 어쩌고 하는 예측들은 거르셈 그래야 정신건강에 좋음. 더 빨리오면 아무렴 좋은거고.

[익명(gjtthf)]

저 거짓선동글은 왜 자꾸 가져오는거임?

[익명(tjvmfkwm159)]

알파고급 패러다임 혁신이 2 - 3번 더 일어나야 한다면서 2035 - 2043이라... 특붕이는 특붕이구나 ㄷㄷ

[익명(121.144)]

신경망연구를 시작한시점부터 이제까지 등장한 여러 아키텍처 모델등 발전속도를 생각했을때 35년은 너무 보수적이지않나 개인적으로 cv할때 yolo쓰다 에피션트쓰고 거기다 트랜스포머까지 적용했을때 진짜빠르다 생각했는데 늦으면 20년대후반?

[익명(115.138)]

ㄴ agi랑 별개로 현재 세계적으로 ai 산업에 자본과 인력이 투입되고 있는건 사실이니까. 지금의 약인공지능도 어쨋거나 연구에 도움을 줄수 있고, 긍정적으로 봤을때 20년이면 트랜스포머급 혁신이 발견되기에 충분한 시간이지 ㅇㅇ 글고 글에도 썻지만 난 선형충 아니라니까? 왜자꾸 마녀사냥 당하는지 모르겠노

[익명(tjvmfkwm159)]

[부패하는유전자!!(sansss2015)]

위에 링크는 거짓선동이긴하 - 특이점은 가깝다

[익명(tuffjajs7)]

누구맘대로 거짓선동 ㅋㅋㅋㅋㅋㅋㄱㅈㅋㅋㅋ 진짜 광신이따로없네

[익명(jonpark75)]

뭐라는거야? 누가 설명좀

[익명(221.144)]

대충 현재 AI 모델이 학습하는 방식이 더 효율적인 개선이 필요하다는 말인듯. 굳이 비유하면, 반도체칩 더 늘리면 우리가 원하는 성능에 도달할 수 있다는 주장에 대해서, 지금 우리가 쓰는 칩은 트랜지스터 수준이니까 더 발전시켜야 한다. 뭐 그런 느낌인 것 같음.

[익명(jonpark75)]

새로운 형태의 컴퓨터가 필요하다 이거야?? 0과1의 이진법으로는 불가능하다 이런말인가?

[익명(221.144)]

아마, 교차 엔트로피 비용함수가, 딥러닝 모델들이 성능을 개선시키는 방법에 관한 이야기 일거임. 정답 틀렸을 때, 그 값을 최소화 하는 방향으로 학습하는거라... 암튼, 그 방법 자체에도 한계가 있다. 뭐 이런 말 같음. 물론, 당연히 그런 자잘한 방법들도 대학이든 연구소든 다양하게 적용시키고 바꿔가면서 발전하는 게 당연한건데. 사람들이 쉽게 말하듯 그냥 스케일로만 안 된다. 엔트로피 비용함수도 한계가 있다. 다른 획기적인 방식이 도입되어야 한다. 이런 말인 듯.

[익명(221.144)]

얼추, 그런 말이긴 한데, 그렇다고 막 이진법까지 내려갈 문제는 아니고. GPT가 교차 엔트로피 비용함수 방식이 무조건 중요하니까 꼭 유지시킨다고 한 적도 없고, 보통 쓰는 방식이 다 한계가 있으니까 새로운 거 개발해야 한다. 그런 말인듯. 어짜피 GPT12까지 나올 정도면 무조건 다른 비용함수 사용하고 있을 것 같긴한데 암튼, 막, GPT는 무조건 AGI가 불가능해! 뭐 이런 말은 아니지 않나 싶은데. '지금 방식'으론 안 된다 정도겠지 뭐.

[익명(1.239)]

컴퓨팅 가성비가 계속 좋아지면 더 다양한 연구조직들과 기업들이 뛰어들거고 무수하게 많은 아키텍처들이 연구될테니 GPT12가 AGI가 되니 마니 하는건 의미없는 말임. 스케일이 중요하지만 스케일을 키우기 위해서 얼마나 많은 공학적 노력이 드는데 오픈AI가 그냥 무지성으로 스케일만 키우는거라 보나? 그랬으면 지금 오픈AI의 성과를 능가하는 모델들이 우후죽순 나와야 정상이지

[익명(221.144)]

근데 어짜피 발생하지 않은 미래의 일이니까 열 낼 필요 없음. 이러이러하니까 이렇게 되지 않을까? 난 그럴 것 같은데? 로 싸우는 거임. 물론, 학사 이상 배우고 있는 분들이라면 나름 근거도 있긴하겠지만, 그 이하 일반인들이라면 사실상 본인 성향에 따른 정보 취사선택해서 예측하는거지.

[익명(jonpark75)]

양자컴이 나와야 한다는 소리네...안그래??

[익명(221.144)]

비유하기 힘든데, 그 정도는 아닐거고..... 중요한 부품이 하나 있는데, 그동안 딥러닝분야에서 매우 잘 써먹어옴. 근데 한계가 있음. 그래서, GPT가 그 부품 안 바꾸면 AGI 안 될거라는 정도의 주장 아닌가 싶음. 물론, 유용하니까 그동안 계속 쓴 것도 있으니까, 새로운 거 발명해내기 힘들긴 하겠지만, 발명만 해서 개선되면 해결될거라, 수학계나 컴공에서 연구해보고 불가능하면 AGI도 미뤄질 수 있을거고, 좋은 대안이 빠르게 나오면 뭐 잊고 넘어갈 문제고.

[익명(116.33)]

얀르쿤 주장을 길게 늘어놓은거네 '비행기로는 달에 갈 수 없다'

[익명(27.100)]

손실 압축이라도 agi 가능할 것 같은데. 학습 자료가 손실되는 것은 아니잖아. 재학습 시킬 때 마다 중요한 자료를 더 효율적으로 분류 시킬 수만 있으면 agi 나올 수 있고 본다. 내가 보기엔 새로운 게 딱히 없어도 하드웨어 성능만 더 좋아지면 방대한 파라미터에 점점 정답에 가까운 내용물이 쌓여지면서 agi가 될 것 같다.

[익명(27.100)]

손실 압축을 하면서 패턴이 생기는데 그것은 의미를 부여하고 지혜를 빚어낸다. GPT-3과 GPT-4는 손실 압축에서 오히려 득을 봤다. 문제는 학습량이 많아지면서 점점 더 비효율이 되간다는 것이지, 손실 압축 그 자체가 문제는 아니다. 인간의 뇌는 뭐 손실 압축이 아닌가. 재학습 방법만 어떻게 효율적으로 잘 바꾸면 된다고 본다.