예전에 현업 개발자가 해준말임
LLM원리 자체가 기본적으로는 1960-70년대 수학이론 바탕으로
나온거고 애초에 중국어방같은 놈이라 뭘 실제로 ai가 알고 답변해주는 게 아닌 단순히 질문에 맞는 정보를 조합해서 답변해준다며
LLM에 지나치게 거품껴있다+얘로는 한계 뚜렷하다고 했었음
난 사실 이쪽관련 전문지식/수학이론 아예 몰라서 걍 그렇구나~하면서 들었는데 특붕이들은 어케 생각하냐
글고 여기 보니까 2029-2030 agi 목표로 달리고 있단 정보 있던데 지금 빅테크들은 llm만 돌려서 agi목표로 하는거임? 아님 llm 말고 다른 ai개발하고 있는거임?
- dc official App
LLM+알파로 개발하고 있을거예요
ㄱㅅㄱㅅ - dc App
개도 지금 llm 쓰고잇음 그리고 나온지 얼마 안됐는데 60~70년대 수학 이론은 뭔 뇌피셜인지 선형대수 딸깍인줄아나
말을 좀 이상하게 전달한 것 같은데 llm이 작동하는 기본적인 수학적 원리/이론은 1960-70년대에 이미 나와있었단 뉘앙스로 말했음 1960/1970년대 수학이론 딸깍으로 개발가능한 게 아니라 - dc App
근본 원리가 그거인거지 아직까지 단지 그 수준인건 아님 걔 말대로면 6-70년대에 LLM 나왔어야지
한계 있다는 얘기 꽤 나옴 그래도 아직은 성장세 다른 방식도 개발중인건 맞는데 지지부진한터라 일단 다들 이걸로 AGI 노리는중
중국어방이네 6-70년대네 그건 지금 llm이 아니라 기호주의쪽임
아 그런거임? 근데 내가 기호주의가 뭔지 몰라서ㅜ - dc App
LLM에다가 월드모델 같은거 덕지덕지 붙여서 누더기골렘 만드는거임 ㅇㅇ
아마 학부 인공지능 수업에서 배운 거 기반으로 말해준것 같은데 다 부분 부분으로는 맞는 말임. 다만 LLM의 핵심은 '그 정보를 조합하는' 과정에서, 예측하지 못한 emergent ability 가 나타난다는 점이고 이건 2020년 이후에 대이터를 엄~천아게 넣으면서 새로 발견된 사실임 - dc App
대충 비슷한 개념인 창발로 퉁쳐도 되나? 고런 게 있는 줄은 몰랐음… - dc App
60-70은 약간 이르고, 70-80년대에 backpropagation을 통한 learning이 이미 제시된 바가 있어서 정말 근본적으로는 그때 이론 기반인 건 맞는데, 여러가지 practical issue들을 해결하는 과정이 만만치 않았어서.. 지금 인공지능의 이론적 기반이 그때 기반이라고 뭐라 하는건 양자 컴퓨터를 가지고 그거 양자역학 100년전에 나온 이론임 ㅇㅇ 하는거랑 똑같은 거임 - dc App
ㅇㅇ 대충 비슷하다고 보면됨 - dc App
@ㅇㅇ 아 그런 거구나ㅋㅋㅋㅋㅋ 나한테 말해준 개발자는 llm 까는 입장이어서 단점위주+버블꼈다고 설명할려고 저렇게 말해준 거 같긴 한데 확실히 아는 만큼 보이네…내년에 대학가는데 공부 열심히 해야겠다 - dc App
@글쓴 ㅇㅇ(116.127) ㅇㅇ 뭔가 딱 LLM 싫어하는 교수님한테 수업받은 학부생 정도 느낌임.. 사실 개발자면 (물론 어느쪽이냐에 따라 천차만별이지만) AI 쪽 이론 배경은 그렇게 깊지 않으실 가능성이 매우 높아서 그냥 그런 의견도 있구나~ 하고 넘어가도 됨.. 화이팅 하시길 - dc App
예전이 언제쯤?
올해 초 쯤에? 한 3월인가 - dc App
올해 초면 좀 늦긴 하네 ㅋㅋ
60-70년대에 나온 LLM과 연관성 있는 수학적 이론이라고 해봐야 선형대수, 벡터 의미론 정도 아닌가? 계보로 따지면 2015년에 나온 seq2seq로부터 2017년 transformers 2018년 트랜스포머의 디코더 구조로부터 파생된 gpt 정도인데 선형 대수에 기반하는건 맞는데 그렇게 따지면 4-50년대에 나온 통계 모델이 가장 큰 조상이지.
역전파부터 퍼셉트론. 멀티 레이어 퍼셉트론. LLM에 영향을 준 이론이 얼마나 많은데 인간 조상이 영장류가 아닌 어류인 시절 수준의 얘기를 LLM의 근간이라고 얘기하면서 한계론을 끌고오는건 좀 그런데
LLM은 선형대수 같은 수학적 기초보다 구조적 혁신 덕분에 폭발적으로 발전한 건데 뭔 수학적 기초 읇으면서 한계론 꺼내는거야. 현업이 맞기는 함? 암만 봐도 고작 학부생 따리인거 같은데
LLM의 지능화를 이끈 RLHF, PPO, SFT, DPO, GRPO 같은 강화학습은 언급도 안 되는데 뭔 진짜 학부생이 현업 코스프레하면서 아는 척 꼴깝 떠는 걸로 밖에 안 보임.
LLM과 6-70년대 수학이론은 영장류와 어류 수준으로 패러다임 시프트가 일어났는데 어류- 양서류 - 파충류 - 포유류 - 영장류 순으로 진화했다고 어류와 영장류는 같은 척추동물이라고 영장류는 물 속에서 헤엄밖에 못 치고 고등한 지능을 가지고 도구를 만들어서 사고할지 모르므로 한계가 있다 같은 소리를 씨부리니 뭔..
인간의 몸을 이루는 게 세포라고 인간 지능은 단세포 동물의 지능 수준을 벗어날 수 없다고 평가하는 수준의 깍아내리기야. 저건..
@ASI교총대주교좌석좌주교 원래 애매하게 알수록 더 그럼ㅋㅋ 저때면 고작 XOR문제로 겨울이다.. 이러고 있을 때인데 뭔;;
@ASI교총대주교좌석좌주교 저 말대로라면 전화기 공학도 결국 하는게 선대/미방 풀기 근사해 구하기 공식 기반으로 시뮬레이션 하기 뭐 이런것들이라고 내려치기 가능
@ASI교총대주교좌석좌주교 저 말 들은 때가 올해 3월경이라 꽤 오래돼서 내가 대강대강 기억하는대로 말한거긴 함(글고 뉘앙스도 1960/70년대 llm근간이라 한계가 있다보단 진짜 기초적인 원리는 1960/70년대 이론에 베이스 두고 있고 아직은 본문 수준-진짜로 문제나 질문을 이해하고 대답하는 게 아니라 맞는 정보를 조합하는 거에 가깝다~란 거였음) - dc App
@ASI교총대주교좌석좌주교 글고 학벌은 좋은 편(해외대학 수학전공)+현업 개발자도 맞음…걍 문외한이 대화 기억나는 대로 옮겨본 건데 여기서 그래도 정보 많이 얻고 가네ㄱㅅㄱㅅ - dc App
@글쓴 ㅇㅇ(116.127) 현업 LLM개발자임? 나도 해외 대학 수학 전공인 사람들 많이 보는데 본인이 직접 AI쪽 공부하거나 연구하지 않는 이상 접점이 딱히 없음. 오히려 AI 해석 불가능성에 거부감 가지는 사람도 많았고 개발쪽은 컴공보다 익숙하지 않아 했고
@ㅇㅇ3(175.215) 물론 나머지 부분 열심히 공부하는 수학과는 고점이 엄청 높았어서 그런 경우면 대단한 사람들 많았음
@ㅇㅇ3(175.215) ai관련 스타트업에서 근무하고 있는 건 맞는데, 현업 llm개발자인지는 모르겠음 확실한 건 llm이 추론을 하는지 여부나 llm 발전가능성에 대해서 굉장히 부정적인 스탠스라… - dc App
@ㅇㅇ3(175.215) Llm이 진짜로 추론한다기보다 검색툴,조각난 정보들을 통계적으로 잘 처리해 인간이 보기에 유의미해 보이는 식으로 출력한다? 분야가 다른 정보를 조합해서 새로운 걸 만드는 걸 못한다고 말하더라 - dc App
현업 개발자는 아니고 그냥 인공지능쪽으로 진로잡고 논문 읽고 공부하고 있는 응애 학생인데 근본적으로 원리는 옛날에 나온 이론을 바탕으로 만든게 맞긴하지만 그게 똑같냐? 하면 그건 아니라 생각함 읽어본 논문중에 대충 2000년대 초반쯤에 나왔던 한국말로 신경 확률 언어 모델이라는 논문이 있음 문장을 학습시켜서 모델의 가중치와 편향을 조절해 문장 예측을 확률로서 계산하고 맞춘다 그런식의 논문이 있음 이게 지금 llm들 학습이랑 비슷한 방식이긴 하지만 그동안 word2vec, attention, seq2seq, transformer같은 개선이 있었음 비슷한 방식이긴하지만 그 형태가 그때와는 많이 다른데 그걸 똑같냐? 그러면 나는 다르다 생각함
옛날에 라이트 형제가 모터와 날개로 비행기를 만들었는데 지금 비행기 결국에는 모터랑 날개로 이루어졌으니 똑같은거 아니냐? 라고 하는거랑 같다 생각함 그 동안 제트 엔진같은 많은 기술들이 만들어졌으니까 물론 이쪽으로 깊게 판 사람들에 비하면 가방 끈이 짧긴하지만 그냥 개인적으로 공부해보고 조금은 경험해본 입장에서 적어봄