[📪정보] 최신 AI 연구의 큰 두가지 흐름 정리

[나일론마스크(flx1012)]

AGI로 가기 위해서 아주 여러 방향의 시도들이 있지만 크게 두 흐름으로 정리할 수 있을것 같아 소개해 본다.

하나는 OpenAI를 필두로 한 "스케일업 학파"로 명명하고 

또 다른 하나는 얀르쿤!이 주장하는 "아키텍쳐 학파"로 나눠보겠음.

최근 올라온 각 학파의 영상들을 소개하며 간략하게 설명해보도록 함.

1 ) OpenAI 스케일 업 학파

https://youtu.be/3gb-ZkVRemQ?si=MUSjPKKclKgzoJoZ

Stanford CS25: V4 I Jason Wei & Hyung Won Chung of OpenAI

최근 스탠포드에서 진행된 강연으로 현재 OpenAI에서 일하는 "정형원"씨의 발표를 참조해 보자.

물론 오로지 개인의 의견일 수도 있으나 OpenAI가 어떤 시각으로 AGI를 달성하고자 하는지 엿보기에 충분할 것 같다.

강의의 요점 중 하나를 저화질 버전으로 쉽게 설명하자면 : 

"ㅅㅂ 우리가 뇌에 대해서 잘 알지도 못하는데 괜히 이상한 전제 도입해서 아키텍쳐 복잡도 올리지 말고 

최대한 선입견 없는 아키텍쳐 만들어 놓고 데이터 ㅈㄴ 쑤셔 박았더니 처음엔 ㅂㅅ같았는데 어느 순간부터 역전하더라.

결국 이런 방식으로 계속 하다보면 추론도 하고 계획도 하는 AGI 만들 수 있는거 아님?" 

결국 아키텍쳐 복잡도는 줄이고 인풋은 개같이 때려박으면 뭔가 뿅하고 나올 거라는 방향임. 

2 ) 얀르쿤! 아키텍쳐 학파

https://youtu.be/6RUR6an5hOY?si=iipoFE_scp34Fpqw

How Meta’s Chief AI Scientist Believes We’ll Get To Autonomous AI Models

LLM은 기본적으로 한계가 있다! 통계 앵무새한테 아무리 학습을 시켜도 추론과 계획까지 자연 발생하기는 어렵다.

인간은 LLM처럼  배우지 않고 인간의 뇌를 다 이해하지는 못해도 추론과 계획을 할 수 있는 아키텍쳐를 만들어야 한다.

그래서 내가 JEPA 만들고 있고 AGI로 가려면 데이터 뿐만 아니라 더 많은 혁신적인 돌파구가 필요함! 

* 결론 : 두 학파 중 뭐가 맞는지 알려면 앞으로 나올 트랜스포머 기반 모델들의 추론/계획 능력 상승 속도가 점점 둔화되는지 상승하는지 관찰하면 될 듯.

[은바다(nmra3fmzhxmg)]

둘다 동시에 해서 둘다 성과를 내거나 둘다 합쳐보자!

[익명(indeed0357)]

그럼 반반이 되잖아

[익명(119.202)]

LLM 아키텍쳐와 상관 없이 학습 데이터 질에 따라 성능이 갈리고 결국엔 수렴한다는 최근 연구 결과를 보면 1이 맞는 것 같은데, 그러한 수렴성 때문에 LLM 자체에 근본적인 한계가 있다는 관점에선 또 2가 맞는 것 같네

[익명(gkseh)]

얀르쿤말이 맞는거 같음

[익명(1.247)]

개인적으로는 얀 르쿤 - dc App

[익명(211.235)]

정보추

[익명(210.205)]

얀르쿤은 보니까 걍 머리가 안좋네

[익명(39.7)]

ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ

[익명(39.7)]

난 이런 돌대가리들이 제일 부럽더라 세상살기 너무 편할거 같아

[익명(121.132)]

걍 과거의 영광에 갇혀 사는 노인네임

[익명(118.235)]

[익명(125.133)]

너무 이분법적인 사고는 무식하게 보이기 쉬움 차라리 얀르쿤 말은 동의 안한다 그렇게 표현 하면 몰라

[익명(211.235)]

스케일업이 이길거다 인간이 이해할수 있는 수준으로는 AGI에 도달할수없음. 우주의 현상처럼 원인을 모른채 한참 후에나 연구끝에 그 원리에 대해 접근할수있을 것

[익명(125.133)]

걍 스케일업으로 agi 오면 원리는 이해하기 쉬울거같음 두뇌 전뇌화 해버리고 사이보그 되면 이해 하는 존재가 될 수 있지 않을까

[익명(bluewarp)]

얀르쿤은 쇼앤프로브하기까진 걍 이상적인 소리하는 뒷방늙은이다

[익명(59.26)]

1번의 그래프가 학습곡선처럼 한번의 plateau를 겪고 갑자기 수직상승 할 수도 있음. LLM 곡선을 처음부터 예측하지 못했던 것 처럼 한계는 때려박기 전엔 모르는 것

[버터핑거(thefrostburn)]

1. 과거 두세번의 능력 창발로 인해, 평생동안 인공지능을 연구하던 연구자들의 업적이 싹 쓸려나갔음. 몇년전까지 LM을 연구하던 사람들은 어순이나 어법 그리고 규칙 같은 알고리즘을 적용시켰지만, LLM이 등장함으로 인해 연구가 싹 쓸려나가 버렸음. 심지어 LLM은 어순이나 규칙도 무시하고 그냥 '말뭉치'를 학습시킴. 2. 스케일로 인한 능력의 창발은 순간 가속도로 한계를 예측할 수 없어. 실제로 논문으로 확인할 수 있었던 가장 최근의 드라마틱한 창발은, 컴퓨팅 10^22승에서 퀀텀 점프라고 할만큼 갑자기 능력들이 올라가고 새로운 능력이 생겼음. GPT-4의 경우, openAI가 백서에서 어느 능력은 스케일에 따라 낮아지다가 갑자기 능력치가 뛰어올랐다 라고 밝혔기도 해.

[익명(223.39)]

확실히 뭐가 됐든 일단 스케일이 중요한 듯 ㅇㅇ 인간의 학습도 사실 따지고보면 어순 규칙 이딴거보다 말뭉치부터 하거든 어순과 규칙은 빅데이터가 충분히 쌓인 뒤에야 내부적으로 분류하는 작업에 불과하고

[버터핑거(thefrostburn)]

https://arxiv.org/pdf/2206.07682
(위
논문들 중 하나임. 중간에 보면 10^22 를 기점으로 갑자기 능력치들이 퀀텀 점프를 하는 것을 볼 수 있을꺼야)

[ㅇㅇㅇ(lsh0320jpgpw)]

안뜨는데

[버터핑거(thefrostburn)]

뜨는데?

[익명(223.38)]

그거 여기서 반박됨
https://arxiv.org/abs/2304.15004

[버터핑거(thefrostburn)]

그래서 스케일이 이기냐고? 왜 그래 이런거에 이분법은 없잖아 항상 둘다 상호 보완적인 관계가 되겠지 단, 스케일 법칙으로 생기는 능력이 어디가 한계인지는 모름. 이 현상이 왜 일어나는지 인간의 능력으로는 현재는 알 수 없기 때문에, 실제로 그러한 컴퓨팅과 학습을 시도해서 확인해보는 수 밖에 없어. 아시모프 '최후의 질문'에 나오는 규모의 컴퓨터를 만들때까지 한계를 모를지도 모르지;;

[버터핑거(thefrostburn)]

왜 일어나는지, 한계가 어디인지, 인간의 능력으로는 모르기 때문에 지금의 AI 혁명이 과거의 기술 혁명과 다르게 AGI로의 낙관론이 우세한거야. 마치 SF에서 로스트테크놀러지를 발견해서 사용하는 인류라고나 할까? 왜 일어나는지는 모르지만, 유도하고 사용할 수 있는 방법만 알아낸거지.

[익명(223.62)]

역사적으로 거의 모든 기술은 스케일 증가가 우선적으로 시도되고 그 한계점에 왔을때 아키텍처를 개선하고 그 개선으로 인해 추가적인 스케일 향상이 가능해지고 그렇게 번갈아가며 발전했음. GPT4o도 텍스트로 변환하는 과정 없이 처음부터 멀티모달에 성능은 높이면서 경량화를 한 거 보면 아키텍처 개선도 있었던 것으로 보임

[익명(223.62)]

근데 스케일향상을 거부하면서 아키텍처만 파고드는 쪽은 승산이 없을거임. 왜냐하면 적은 스케일과 대형 스케일에서 효과적인 아키텍처는 다르기 때문임. 예를들어 소형선박에 최적화된 구조는 수십만톤 대형선박엔 맞지 않고 프로펠러 비행기에 최적화된 구조는 초음속 제트기에는 오히려 방해요소가 됨

[익명(landofooo)]

똑똑한 유동

[익명(simple8408)]

와 진짜 똑똑하다 전공잔데 공감감

[익명(112.161)]

과학철학쪽 비판적 실재론에 양질전환이라고 비슷한 개념이 있음, 인간을 원자단위로 쪼개면 수소, 산소, 탄소, 질소의 집합이지만 원자 더미가 인간으로서 기능하지 못하는 것 처럼 데이터랑 연산력을 쌓아올리다 보면 그 이상의 무언가가(기능이든 지능이든) 나온다는건 생각보다 이상한 일은 아님.

[익명(175.209)]

라마 gpt 비교하면 스케일팀이 승리

[익명(222.120)]

양쪽 모두 어느 정도 '추세에 대한 믿음'에 기반하는데 이러면 결국 꾸준히 성과를 내는 쪽에 더 신뢰가 갈 수밖에 없음. 최근의 얀 르쿤은 라마3에도 참여 안했고 jepa류 아키텍처를 제안했을 뿐임. 나는 능력주의라 최전선 연구자들은 다 존중하는 편인데 르쿤이 형은 간단한 모델 하나라도 들고 와줬으면 좋겠음

[익명(222.120)]

그리고 4o 보면 정확한 모델 크기는 알 수 없지만 경량화에 성공한 건 분명함. OAI는 LLM에만 올인하는 것도 아니고 무지성 스케일링만 하는 것도 아님

[익명(106.247)]

얀 르쿤 = 전형적인 행동 편향의 오류를 범하는 중 그냥 아무 것도 안 하는 게 최선을 때가 있음

[익명(125.188)]

얀르쿤이 맞는듯..llm가지고 a지i못만든다고 봄

[빙냥이ㄱㅇㅇ(6zd2cxvc44h4)]

씁쓸한 교훈은 일단 지금까지는 연전연승이지...

[익명(175.223)]

아기한테 액션캠 달고 데이터 모아서 학습시키는 프로젝트 있던데 거기서 뭐 튀어나오는지에 따라 결정될듯

[익명(221.152)]

그래서 2번은 언제 보여주시나요

[익명(blacktailtiger)]

아니 얀르쿤은 요즘 뭐 보여주지도 못하는데? oai처럼 개쩌는걸 들고오고 호소를 하시라구요

[MoonChild(aowlr2001)]

[익명(121.168)]

둘이 섹스 해

[익명(211.214)]

님 이번에 드와키시랑 존슐만 인터뷰봄? 그거 꿀잼

[익명(58.120)]

근데 괜찮은 걸 키워야지 똥을 키우면 큰 똥 아닌가;; 솔직히 지금 llm으로는 광고 초안이나 쉬운 코드 뽑는데 쓰는데 - dc App

[익명(125.133)]

아직 발전중이라 2~3년후에 agi 예측시기 가까워져도 안되면 알트먼 오체분시 해도 안늦음

[익명(14.7)]

걍 숏충이 노인네같은데 왜 빨리지ㅋㅋ

[익명(116.127)]

병신새끼

[익명(118.36)]

이게 완전 틀린말인게 OAI가 아키텍처 연구보다 스케일업에 몰두하는게 아님. 메타쪽이 스케일업보가 아키텍처쪽 치우친 것도 아니고. 양쪽 모두 아키텍처나 스케일업 밸런스 무너뜨린적이 없는데 이건 뭔..

[나일론마스크(flx1012)]

이 글의 의도가 OpenAI랑 메타랑 팀가르기하고 분류하려 한 게 아니라 AI 연구에 대한 두가지 큰 흐름을 비교한 거에 집중해줬으면 좋겠음. 물론 정확히는 어떤 큰 회사도 하나의 관점만을 가지고 연구하는 회사는 거의 없음. 다만 이건 쉬운 이해를 위한 저화질 설명이라고 보면 됨. 좀 더 정확히 표현하자면 OAI는 "전제를 좀 더 덜어낸 아키텍쳐"를 연구하는 관점이 좀 더 우세한 것 같다 + 얀르쿤은 ( 글에서 메타 거론한 적 없음 ) 스케일업 뿐만 아니라 더 "복잡도있는" 아키텍쳐 연구도 중요하다 ( 아키텍쳐에 전제를 좀 더 더해야 한다) 라는 입장인 것 같다라고 할 수 있음.

[익명(221.164)]

스케일이 선행해야 하는 것은 맞음 ㅇㅇ 아키텍처는 스케일이 충분해진 다음에나 적용하는게 맞다고 봄 그것도 인간의 사상이 들어가면 망하는거고

[익명(121.165)]

1번이 선행해서 agi가 되어 2번을 이해하고 초지능에 근접해질듯

[익명(120.136)]

1이 맞말 같긴 한데 현존 데이터 스케일로 agi에 도달할 수 있을까가 문제라고 보는데 그에 대한 돌파구가 2아닐까 싶음

[익명(landofooo)]

걍 둘다 적절히 응용해야함 같은 파라미터수여도 구조에따라 성능 현격히 차이나는거보면...

[익명(211.177)]

르쿤은 아키텍쳐라고 하는것보단 알고리즘/objective 라고 하는게 맞음. 르쿤 JEPA도 트랜스포머고, 르쿤의 문제의식은 next token prediction 이나 autoencoder 같은 self-supervised output prediction 알고리즘이 내부적으로 지능을 만들어내지 못한다는 거임. 그래서 JEPA 는 semantic space 에서의 embedding 사이의 relationship 을 학습시키는, 좀 더 지능의 추론 행동에 가까운 알고리즘인거고

[익명(9jna57f2n4ps)]

르쿤이 형님이 맞는거 같음. 스케일업은 결국 한계에 봉착할거 같다. 지금 AGI가 5년안에 나온다 만다 하는 예상은 스케일업에 근거하여 여태까지 이만큼 스케일을 이정도 키웠는데 이만큼 발전했으니 앞으로 이만큼 더 키우면 AGI 나오겠네 하는식의 예상 같은데 어느순간부터 아무리 스케일업을 해도 AGI 에 도달할수 없는 한계를 보게될거 같음.

[익명(112.161)]

스케일업 학파가 유리한게 그쪽 주장대로면 주 동원이 이미 검증되고 예정된 컴퓨팅파워 스케일업이기 때문에 연구자들은 잘하면 좋고 아니면 말고 어차피 성능은 올라갈 수 밖에 없음. 반면 르쿤 주장대로라면 스케일업이고 나발이고 연구자를 때려박든 폰노이만이 환생하든 해야 AGI가 가능함.

[익명(112.161)]

근데 어차피 양쪽다 목적지는 같아서 접근법이야 다양하면 좋지 나는 스케일업쪽에 마음이 가긴 해