[📪정보] 레오폴드 SITUATIONAL AWARENESS 요약

[다이아몬드핸드(qlrtmznlwm)]

전문 읽어보니 흥미로운 내용이 많은대 특갤에 대충 번역기 돌린것만 돌아다녀서 내용 압축 요약해봄

출시 당시 얀르쿤을 포함한 AI 업계인들에게 충격을 준 GPT-2의 성능

문장에서 it이 무엇을 뜻하는지 이해하는 수준이었다 지금으로썬 하찮지만

그마저 성공한 몇 케이스만 나열한 수준이 저정도였다 

그리고 GPT-4는 오류가 있을지언정 미적분과 코딩을 건드리는 수준이 되었다

GPT-2와 비교가 실례일 정도의 격차다 마치 유아와 고딩 수준의 격차다

그리고 이 부분이 이 글의 핵심이다

1. GPT-2와 GPT-4의 격차는 유아와 고등학생 차이

2. 그렇다면 둘 만큼의 격차를 한번더 벌리면 AGI가 나올수 있다!

그렇다면 GPT-2와 GPT-4의 격차는 대충 얼마만큼 인걸까?

일단 학습에 사용된 컴퓨팅 양을 비교하면 대략 3000~10000배 정도 차이가 있다고 한다

그럼 AGI는 컴퓨팅 파워를 대충 10000배 늘리면 가능 할까?

여기서 눈물나는 소식이다 컴퓨팅 파워의 상승은 느려지고 있다

처음엔 단순히 주변에 널려있는 칩을 끌어다가 서버로 만들고 한계에 봉착하자

지금은 GPU 성능 올리겠다고 BF8로 정확도 내리고 트렌스포머 전용 칩설계 하고

가지각색의 화려한 칩설계 똥꼬쇼로 비약적 성능 향상을 이루워 냈지만

점점 최적화로 인한 성능 향상에 한계가 오고있다

물론 매년 칩 성능은 향상되지만 과거 수년 만큼의 향상을 기대하기 어려워지고 있다는뜻이다 

그렇다면 싹다 노동시켜야 하는걸까? 얀르쿤은 신인걸까?

위 첨부 사진은 세가지 이미지 처리 모델들의 같은 성능대비 컴퓨팅 비용을 보여준다

놀랍게도 10년동안 꾸준히 컴퓨팅 효율이 2년 마다 100배 가까이 늘었다!

즉 단순 하드웨어 성능이 아닌 알고리즘의 향상으로 인한 실질적 컴퓨팅 (Effective computing)은

계속해서 늘어나고 있다

하지만 방금 자료는 이미지 구분 AI지 우리가 관심있는 LLM이 아니다

그리고 현재 LLM 훈련의 세부사항은 기밀이기 때문에 우리는 알수없다

대신 간접적인 예측은 할수있다

위 표는 MATH 벤치마크에서 50% 성능을 내기위해 필요한 추론비용이다

이 부분에서도 대략 2년마다 100배 이상 싸지는걸 볼수있다

물론 이걸 훈련비용과 연관짓는건 비약이라고 할수있겠지만

내부자가 아닌 특붕이들은 이걸로 만족하자

컴퓨팅 파워 향상 + 알고리즘 향상을 겹쳐보면

둘의 완벽한 상호보완 을 볼수있다 이정도면 충분한걸까?

아쉽게도 그렇지만은 않다 GPT-4 또한 알고리즘 향상의 수혜를 입었으니

GPT-2 와 GPT-4 의 격차가 최대 100만배 로 뛰어버렸다...

다만 이건 너무 비관적으로 본거고 본문에선 대충 중간값인 10만배 차이로 가정한다

그러나 여기서 우리의 마지막 희망이 등장하니

본문에선 Unhobbling 이라고 표현했는데

대충 우리에게 익숙한

RLHF, 프롬프트(Chain of Thought 등), Context length, 그리고 요즘 최고 떡밥인 Agent 등을 통칭하는거다

이미 닳고 닳은 특붕이들은 이게 뭐 싶을지도 모르나 이게 생각보다 훨씬 중요하다는게 저자의 입장이다

RLHF (대충 인간이 내린 체점으로 학습시키기) 가 없었으면 chatgpt는 존재할수없었고

단순 벤치마크만 봐도 Chain of Thought 프롬프트로 10배의 성능향상 = 10배 실질적 컴퓨팅 향상 을 보여줬고

Context length의 중요성은 특붕이라면 잘알태고

Agent 이 새끼는 사실상 GPT-5 떡밥의 절반 이상이다

이 부분은 컴퓨팅 파워 향상과 알고리즘 향상에 비해 불연속적이고 예측이 어렵다

따라서 예측또한 매우 불확실하다 당장 내일 이걸로 인공지능 성능이 미쳐날뛸수도 있고

특붕이들 말라죽일때까지 특레발만 떨수도 있다 

하지만 확실한건 이것으로 인한 성능 향상은 필연적이고 불가피하다는것이다

이 모든 요소를 종합한 예측치 즉 GPT-4로 부터 10만배의 실질적 컴퓨팅을 쏟아부은

AI가 탄생하는 시점이 2027년일 확률이 매우 높아 보인다는게 이 글의 핵심이다

다른거 다 볼 필요없고 "규모"에만 집중해서 GPT-2와 GPT-4의 "규모" 

즉 10만배의 (5OOMs)을 내는 시기가 2027년 이라는 것이다!

그리고 사실 This decade 즉 늦어도 2030년 즈음 까지 AGI가 오지 않으면

AGI 꿈은 당분간 혹은 오랫도록 날아갈 (bust) 거라는게 저자의 예측이다

왜냐하면 미친듯이 늘어나는 투자비용의 한계

하드웨어 향상의 한계 그리고 알고리즘의 한계를 가만하면

지수적인 실질적 컴퓨팅의 상승도 거기까지가 한계이기 때문

다르게 말하자면 GPT-4와 AGI가 실질적 컴퓨팅 10만배 차이 이상이면

특붕이들의 멸망인것이고 그 이하면 늦어도 6년안에 AGI님이 오시는거다

요약

1. GPT-2와 GPT-4의 "실질적 컴퓨팅" 차이는 대략 10만배

2. 여려요소를 종합해보면 2027년에 GPT-4의 10만배 "실질적 컴퓨팅" 때려박은 AI 나옴

3. 그게 AGI면 특붕이 성불 아니면 싹다 노동시켜

https://situational-awareness.ai/from-gpt-4-to-agi/

I. From GPT-4 to AGI: Counting the OOMs - SITUATIONAL AWARENESS

[다이아몬드핸드(qlrtmznlwm)]

https://situational-awareness.ai/from-gpt-4-to-agi/

[다이아몬드핸드(qlrtmznlwm)]

본문 내용 이외에도 에너지 문제, 초인공지능, 미국 vs. 중국 AGI 레이싱, 정렬문제 등 특붕이들이 맨날 예기하는 내용 다 들어있더라 PDF로 165 페이지 수준이라서 좀 길긴한데 솔직히 특붕이 필독서 수준임

[익명(116.33)]

그냥 단행본으로 출간해도 헬조.센식 레이아웃 뻥튀기하면 3~400p도 가능한 분량인데 그냥 온라인에 무료로 뿌리네

[익명(49.142)]

노동이 답일 듯

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[익명(211.214)]

데이터 부족은 오픈ai에서 이미 해결했다는 게 찌라시피셜ㅋㅋ

[익명(121.140)]

해결되서 gpt4 성능을 아직도 1년반째 못뚫고 있노?

[익명(119.202)]

제발 다음 프론티어 나오고 얘기하자

[익명(211.214)]

챗봇이 아니라는 데 챗봇 ㅇㅈㄹ

[익명(211.214)]

나오면 얘기하자

[익명(125.133)]

그 아이피

[익명(119.197)]

LLM은 근본적으로 챗봇일 수밖에 없는게, 학습된 데이터 그 자체보다 똑똑해질 수 없어서 그래. 인간같이 말하고 "추론"을 흉내내는 것도 인간이 생성한 데이터에 기반했기 때문임

[익명(119.192)]

너도 챗봇이야 병신아 니가 여기서 할 수 있는 게 채팅말고 뭐 있는데 ㅋㅋ

[익명(219.241)]

팩트) 챗봇이 아니라 npc에 가깝다

[MoonChild(aowlr2001)]

[익명(119.202)]

Chain of Thought를 확장한 생각 토큰 모달리티 내지는 생각과 기억을 담당하는 어텐션 레이어 추가 << 이게 희망이다

[익명(175.124)]

[익명(110.10)]

[익명(180.70)]

양자컴이 답이다

[익명(221.150)]

165페이지짜리 원본 pdf 찾으려하는데 잘 안 보이네 혹시 링크 있어?

[익명(221.150)]

자문자답
https://situational-awareness.ai/wp-content/uploads/2024/06/situationalawareness.pdf

[라ㅜㄷ(210.97)]

좋은 내용리네 GPT2 논문보면서 it이 무얼 구분하는지 안다고? 충격먹었던게 엊그제 같은데 ㅋㅋㅋ

[부패하는유전자!!!(sansss2015)]

수퍼개추

[람냥(qorwhddlrz)]

2027 AGI

[익명(landofooo)]

[익명(mind9501)]

[익명(218.157)]

저만한 데이터도 없을 뿐더러 저렇게 해봤자 결국 더 정교한 통계머신 앵무새임.. 합성 데이터 한계에서 벗어날 수가 없는 것 - dc App

[익명(119.192)]

그건 너도 마찬가지고 골대 옮기지 마라 뒤진다

[익명(125.133)]

"이쪽 전공자들은 강인공지능 택도 없는 소리라 생각하는데"

[익명(182.209)]

정교한 통계머신 앵무새던 아니던 사람 80%만 하면 그만임

[익명(116.36)]

이미 느그 국평칠 바퀴벌레 가족들 대가리 다합친거보다 똑똑한데 뭔 앵무새 타령이야

[익명(118.235)]

ㄴ 무슨 골대를 옮겼노? 합성기 앵무새로 agi 안 나온다는 주장은 얀르쿤이 오래전부터 하던 건데? - dc App

[익명(118.235)]

ㄴ 강인공지능 택도 없긴하지 ㅋㅋ 씨발 뭔 간단한 추론 문제도 학습 데이터랑 조금 겹치면 병신 같은 헛소리 내뱉는데 - dc App

[익명(118.235)]

사람 80퍼만 하면 그게 사람보다 모자란 새끼지, 사람 뛰어넘는 agi냐? 데이터 한계를 벗어나서 지혼자 가치판단까지 가능해야한다니까? - dc App

[익명(113.59)]

"가만하면" 실화임?

[익명(125.133)]

gpt4가 똑똑한 고등학생 수준인가

[디시콘발사대(fcbjsjmu1t9f)]

[익명(116.36)]

닉값하는 보물같은 글이다 고맙다

[스윗원순몽키(tmzoa11)]

[익명(183.106)]

2025 agi, 2027 asi

[c(61.105)]

[익명(googlegay5)]

agent가 자율 에이전트임? 그개 왜 성능 향상 요인이야? 그냥 유용한 유틸리티 아니었음?

[익명(helmet5559)]

[ㅇㅖㅇㅏ(pinterest123)]

'가만하면'까지 읽고 스크롤 싹 내렸다

[익명(115.143)]

25년도 아니고 선형글이네

[익명(112.161)]

가만? 가아아아만?