이미 돌파구 있어
일리야도 알고 있고
샘도 알고 있고
심지어 일론도 알고 있음
이유를 설명해줄게.
시작은 이 논문임.
grokking 이라는 현상을 발견한 논문이지
2022년 1월에 퍼블리쉬된 논문인데
저자를 보면 OpenAI 측 애들이 쓴거야.
이중에 igor babuschkin 보이지
잘 봐두자.
grokking 현상의 뜻은 뭐냐면
미국의 로버트 하인라인이라는 작가가 쓴 소설 낯선 땅의 이방인(stranger in a strange land)에서 유래한 말인데
한 마디로 '깊이 이해하다' 라는 뜻이야.
모델의 훈련 단계를 넉넉하게 잡아서 훈련 시간을 길게 빼면 성능이 가만히 있다가 갑자기 폭발적으로 증가하는 것을 보고
어? 모델이 갑자기 깊게 이해하기 시작하네?? 새로운 현상이 발견됐다. 이걸 grokking 이라 하자 라고 한거야.
처음엔 과적합되는지 알았지. 모델이 주어진 훈련 데이터셋에 지나치게 편중되는 것을 과적합(over-fitting)이라 하는데 분포 밖 데이터로 테스트해봤더니 거기서도 높은 정확도를 보이기 시작한거야. 이거 과적합을 뛰어넘어서 일반화를 하기 시작하네? 하고 놀라서 발표한 논문이지.
일론이 이걸 놓치지 않았어.
그리고 xAI를 만들 때 저 핵심 저자 중 한 명인 igor babuschkin를 데려와서 핵심 founder 중 하나로 만들어.
그리고 xAI 에서 만든 모델명 자체를 grok 으로 박어버렸지.
최근에 이 그로킹에 대해 끊임없이 논문이 나오고 있어.
이 논문은 2024년 5월에 나온 따끈따끈한 논문이고
A급 이상의 AI 엔지니어들은 이 논문에 주목하고 있어.
이 논문에서는 트랜스포머 모델들이 암묵적 추론을 '그로킹'을 통해서만 배울 수 있다는 걸 다시 확인하고 있어.
그럼 다시 생각해보자.
그로킹을 사람처럼 생각하면
교과서를 통해 충분히 다들 기본은 학습한 것이 지금 현재 상황이고
남은 교과서는 몇 권 정도 남아있는 셈이지.
교과서는 지금 아직 훈련에 사용할만한 '남은 데이터'라고 생각하자.
그럼 그로킹은 이제 기본적인 공부를 끝낸 후 훈련단계, 즉 학습 단계를 길게 만드는 거야.
같은 문제집을 여러번 푸는 것일 수도 있고, 좋은 고퀄리티 기출문제를 오랫동안 연구시키는 것일 수도 있고, 중요한 문제를 여러 단계로 쪼개서 훈련단계를 길게 만들어내는 것일 수도 있지.
그 방법은 정말 다양해. 그로킹 논문에 봐도 방법이 정말 다양하거든.
그럼 OpenAI는 이미 2022년에 이걸 발견했어. 일리야도 당연히 알고 있고, 그 핵심저자 igor를 데려와서 grok 를 모델명으로 쓴 일론 역시 파악하고 있다.
한마디로 '오래' 공부시키는 것이 답이라는 그 돌파구는 발견한 셈인데
N 회독 시키는 것이 좋은지(트레이닝 시간을 늘려버리거나), 비슷한 문제를 합성해서 다시 풀리는 것이 답인지(합성데이터), 중요 문제를 작은 여러 단계로 쪼개거나(step by step)
이 모든 것들을 조합하거나
정말 이렇게 보면 사람이랑 비슷하긴 해.
돌파구가 없는거 아냐? '트랜스포머'같은 뭔가 획기적인 것이 튀어나와야하는 거 아냐? 하는데
이미 내가 볼 때에는 그로킹이 그 핵심이라고 봐.
최근에 빌게이츠, 무스타파, 샘, 일론, 일리야 모두가 하는 말 보면 AGI 를 넘어서는 것은 이미 기정사실로 여기고 있어.
너무 걱정하거나 낙담하지마
기업들이 인재와 돈을 쏟아 붓는 것이 우연일까
일론이 테슬라 기가팩토리에 gpu 클러스터 짓는거보면 기가 막힐 정도고
일리야가 초지능이 손에 닿을 곳에 있다는 글을 SSI 미션글 첫 문장에 넣는 것은 우연이 아님
샘이 한 말을 다시 생각해봐
우리 인간이 지능의 중심에 있다는 그 사고방식이 깨지기 시작한다고 했잖아. 그 겸손함으로 우린 성장할거라고.
그 말은, 곧 인간보다 훨씬 똑똑한 지능이 출현할거라고 생각한다는거고
전혀 돌파구가 마련되지 않은, 그런 상황이 아님
념글에 MS AI CEO 무스타파도 그랬지
앞으로는 똑똑한 것보다 지식을 유연하게 받아들이는, 오픈마인드 자세가 더 귀중한 자세가 될 거라고.
그게 무슨 뜻일까
지금 알고 있는 지식과 지혜보다 앞으로 AI 라는 엔진으로 캐낼 지식과 지혜가 훨씬 더 많고 크기 때문에
그걸 제대로 흡수할 수 있는 인간이 앞서간다는 뜻이지.
난 특붕이들이 그 자세가 누구보다 잘 되어있는 그룹이라 생각한다.
우리야말로 새로운 지식, 새로운 발견에 가장 흥분하고 가장 잘 받아들이는 그룹이지.
낙담하기는 일러.
빌게이츠도 그랬잖아. 발전속도가 너무 빠르다고. 논문만 봐도 그럼.
호옹이 ㅇㅅㅇ 그래 agi 까짓ㄱㅓ 못만들겠어?? 내가하는건 아니지만 ㅋㅋ
그로킹이 agi 돌파구라는 주장은 처음 듣는데
-선-
교육된 교과서가 학습된 데이터고 아직 교육되지 않은 데이터를 남은 데이터로 치자면 교육된 교과서의 내용을 그로킹 하면 아직 교육되지 않은 데이터를 보여주었을때 그 데이터를 이미알고 있을확률이 높다는건가
그렇다면 인류의 모든 지식을 집어넣었을때 그 다음의 지식을 얘가 내놓을 확률이 높다 이건가 그 다음의 지식을 다시 교육시키고 그것을 다시 그로킹하고 다음지식에 대한 일반화된 지식을 이끌어내고 그걸무한반복? 재귀개선인가
에휴 이새낀 볼떄마다 똑똑한척 하고있네 대가리는 멍청한데 지적허영심 존나 강력한게 느껴지노
그래서 내가 요약하고 이해한 정보가 뭐가 틀린지를 입증해야되는데 남까내리는 인신공격말고는 입에 담을 수 있는 말이없노
그러니까 얀르쿤은 너보다 정보력이 딸려서 LLM 비판만 하고 있다는 거지? 새로운 돌파구도 이미 있는데 정보력이 딸려서 모르는 거고
그러니까 일리야는 너보다 정보력이 딸려서 초지능이 손 닿을 거리에 있다는거지? AGI ASI는 비관적인데 정보력이 딸려서 모르는 거고
아니? 일리야도 알아 그렇게 말하면 엄청난 이익을 얻기 때문에 가까이 있다고 말할뿐
반먄에 얀르쿤이 ai에 비관적으로 말해서 무슨 이익을 얻을까? 이제와서 말 바꾸면 자존심 좀 상해서?
아니? 얀르쿤도 알아 그렇게 말하면 메타에서 엄청난 이익을 얻기 때문에 멀다고 말할뿐
"그러니까 얀르쿤은 너보다 정보력이 딸려서 LLM 비판만 하고 있다는 거지? 새로운 돌파구도 이미 있는데 정보력이 딸려서 모르는 거고" 이 말은 그록킹에 대한 과학적 반론이 아님
너가 그록킹을 반론하려면 그록킹 자체가 가지는 한계점과 수익감소에 대해서 지적해야함 얀르쿤의 발언이아니라
얀르쿤이 다른 쪽으로 연구하고 그 쪽으로 투자 받는 건 맞아 근데 LLM으로 방향을 틀면 더 많은 돈을 투지받을 수 있지 않을까? 거의 대부분의 투자자들은 아무리 기술적으로 설명해도 지금 한창 유행인 LLM에 돈을 쓰려고 할걸?
얀르쿤의 발언은 그록킹의 지식일반화 능력을 비판할 수 있는 근거가 되지 못함 과학적, 이과적 발견은 동일하게 과학적, 이과적 발견 으로 비판해야함 '얀르쿤의 발언' 그 자체의 속성은 과학적 속성이아니라 정치적 속성에 근접되어있음 그래서 적절한 비판법이아님
르쿤이가 맨날 하는 소리가 LLM 연구해봤자 한계만 드러낼 뿐이니 학생들은 새로운 아이디어를 찾는데 관심을 가져라 (OAI 같은 데 가지 말고 지한테 와서 제파 연구나 해라) 타령이고, 메타 수석과학자 완장 달고 라마 개발에는 참여도 안 하면서 한다는 소리가 어차피 쓰레기니 오픈소스로 풀어라 훈수질이나 해대면서 지 좆목팀이랑만 연구하는데 성과는 10년은 지나야 나온다고 하면서 하루도 안 거르고 SNS에 LLM 까는 글만 쳐올리니 회사 내 입지가 좋을 턱이 있나 지 회사 내 입지, 리소스, 투자 때문에 그렇게 입털어대는 건데 르쿤견은 르쿤이만 영웅에 선지자고 남들은 죄다 사기꾼에 악당이노 테슬람이랑 똑같네 ㅋㅋ
그러니까 LLM 안 빨고 다른 거 하면 그렇게 안 좋은 것들 투성이인데 진짜 저걸로 인해 LLM이 가능성이 높았으면 굳이 다른 길을 가겠냐고 지금 LLM 연구 안 하는 이유? 투자받아도 의미있는 성과 못 낼게 본인 눈에는 보이고 다른 길을 가는게 별거 아닌 LLM보다는 나으니까 그게 agi까지 될지는 또 다른 문제고
그니까 르쿤이는 그렇게 생각하고 다른 애들은 LLM으로 될 거라고 생각하니까 LLM 연구하고 그렇게 각자 연구하면 그만인데 르쿤이는 왜 허구헌 날 LLM이 병신인 이유 52634523개 트윗 쳐올리고 르쿤견들은 LLM 연구자들을 사기꾼으로 깎아내리고 르쿤이를 신처럼 떠받들지? 무슨 순수하고 숭고한 의도가 있을까?
얀르쿤이 이길지 일리야가 이길지 그건 아무도 모르지 가봐야 암
LLM으로 안될거라는 증거는 점점 많아지는데 그것들 반박은 안하고 아무튼 된다라고 하는게 사기꾼이 아니면 뭐지? 당장 이것도 특들갑 엔딩이고
LLM을 연구하는 모든 사람이 사기꾼이라는게 아님 LLM으로 agi가 되고 우리 삶에 도움이 좀 되는 정도가 아닌 기후문제도 한 번에 해결하고 모두가 일 안하고 놀 수 있는 세상이 곧 온다는 사람들이 사기꾼이라는 거
일 안하고 놀 수 있는 세상이 곧 온다는 사람들은 특이점갤 사람들말고 본적이 없는데
그록킹가지고 호들갑은 그건 입자가속기로 빛의 99.9% 따라왔으니 넘는 것도 가능하다는 소리랑 비슷하다
grooook
섹스
확정이네
몇달동안 한숨만 푹푹쉬고있었는데...... 방금 눈물 한방울 나왓다..ㅠㅠ 희망을 다시 갖게 되엇다..ㅠㅠ
ㅋㅋㅋㅋㅋㅋㅋㅋ특평ㅅㅂㅋㅋㅋㅋㅋㅋ
이런거 보면 agi로 가는 길이 생각했던것보다 훨씬 험난하긴 험난하구나
생물이 수억 년간 진화해 인간이 되는 과정을 수십년으로 압축한다고 생각하면 여간 어려운게 아니긴 해 ㅋㅋ 일선 개발자들이 대단하게 느껴질 따름임
니도 아는걸 안해서 발전이 멈췄겠냐
그러니까 일론머스크의 xai grok이 희망이라는거 맞지?
아 grok이 그래서 grok이구나....
님아 이런 정보글들 어디서 공부할 수 있는지 혹시 알려줄 수 있음? 여긴 똥글밖에 없는거 같애
어느 커뮤니티를 가도 이런 정보글만 모인 곳은 없음 어딜 가든 똥글은 있고 거기서 진주 찾기는 님 재량임
이런 정보는 어떻게 얻는거임? 관련 종사자나 학생이라 지속적으로 찾아보는거? - dc App
걍 특갤 옛 떡밥인데
재밌게 잘봄
아아.. 자고로 '신앙'을 잃는 것은 '죽음'을 의미하는 것이며...
그로킹은 11 * 11 = 121같은 소규모 데이터셋으로 학습시킬때만 나타나는 현상임 LLM 학습을 그로킹처럼 학습 에폭 무작정 늘리면 오버피팅만 늘어나고 굉장히 비용 비효율적인 짓임