[일반] 언어모델이 확률적 앵무새라는 주장은 어케생각함

[익명(59.25)]

샘알트만은 인간이 확률적 앵무새일수도 있다고 했는데

1. 언어모델은 확률적 앵무새인가

2. 사람은 확률적 앵무새인가

답변좀

- dc official App

[익명(220.83)]

2.

[익명(59.25)]

그럼 님은 들었던 말이나 경험을 비슷하게 또 내뱉을 뿐이라는거임? - dc App

[익명(59.25)]

가진 정보를 조합해서 내놓는데 조합방식이 새로울순 있잖음 - dc App

[익명(59.25)]

ㅇㅇ - dc App

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[익명(59.25)]

이유좀 - dc App

[익명(219.249)]

1. autoregressive model이 원래 다음에 올 단어 확률 예측하는 원리라 맞긴함 2. 그럴수도 있음 사람의 뇌는 끊임없이 가장 적은 에너지로 다음 순간을 예측하게 진화되었음 다만 언어모델처럼 학습 데이터 확률분포에 likelihood를 최대화하는 방식은 아닐것 - dc App

[익명(59.25)]

"우유를" 다음에 "마시다"가 올 확률이 높기때문에 마시다를 내놓는게 언어모델 맞음? 그런데 인간은 자기맘대로 우유를 폭파시키다 뭐 이런식으로 아무거나 말할수 있잖음 - dc App

[익명(219.249)]

아무거나 말하는건 지능이 아니라서 의미가 없고 주어진 task가 학습 데이터 내부의 패턴을 적용하는 것을 뛰어넘는 무언가가 필요한거라면 현 언어모델 상으론 어려울수 있지 - dc App

[익명(59.25)]

내가 원하는 말을 하는게 왜 지능이 아니란거임? - dc App

[익명(219.249)]

근데 현재같은 언어모델로 agi가 달성가능하다고 주장하는 사람들은 인간의 언어 자체가 충분히 인간수준의 지능을 담보할정도로 고차원적인 패턴을 이미 갖고있으므로 이거만 잘 학습시켜도 인간의 추상화, 추론, 유추, 비유 같은 지적능력의 패턴을 ai가 이해할 수 있다는 논리임 - dc App

[익명(59.25)]

님은 언어모델이 앵무새라고 했는데 언어모델이 Agi가 된다는 논리는 앵무새가 사람이 될수있다는 말과 같은말 아님? - dc App

[익명(219.249)]

앵무새가 인간의 모든 언어를 이해하고 기억하고 패턴을 학습할정도로 똑똑해지면(=capacity가 존나커지면) 인간수준이 되는거지 - dc App

[익명(59.25)]

이거 답변해주셈. 우유를 다음에 마시다가 올 확률이 높아서 마시다를 내놓는게 언어모델이라면 인간은 자기가 하고싶은 말을 내놓잖아 이게 분명한 차이아님? - dc App

[익명(219.249)]

니가 말한 ‘자기가 하고싶은 말’ 이란게 뭘말하는건지 모르겠음 만약 언어모델 내부에 선호도와 기호라는 변수가 생기고 그 변수를 단어예측에 같이 인코딩시킬수 있다면 그게 사람이 하고싶은말 하는거랑 뭐가다름? ‘맥락과는 벗어난 엉뚱한 무언가’를 말하는거라면 ‘맥락에서 벗어난 엉뚱한’이란걸 학습하고 이해한다면 언어모델도 우유를 폭파시킨다는 말도 할수있겠지 - dc App

[익명(59.25)]

님말은 "사람처럼 만들면 사람이랑 뭐가다름" 이러는거 같은데 - dc App

[익명(219.249)]

지금 물어보는게 확률적 앵무새냐 아니냐 아님? 확률적 앵무새라는 범주내에서 언어모델의 단어만드는 방식과 인간이 단어만드는 방식 둘다 설명될수 있다는걸 말하는거임 그 차이는 앵무새라는 아키텍처가 아니라 더 많은 input과 데이터의 차이일 뿐이고 - dc App

[익명(219.249)]

인간의 뇌는 하나의 단일 통일된 구조가 아님 본능적인 욕구를 출력하는 파트도 있고 감정을 출력하는 파트도 있고 기억과 경험을 출력하는 파트도 있고 기호와 성향을 출략하는 파트도 있을거임 이런것들이 다같이 언어 파트에 들어가서 나온 출력이 “우유를 폭파시킨다”는 문장인거고, 그럼결국 적어도 니가 말한 부분에서 언어모델과 사람의 차이점은 구조나 원리 상의 문제가 아니라 고작 input을 뭘로넣냐의 차이로 설명될수 있다는거임 - dc App

[익명(59.25)]

구조나 원리가 다른게 아닌 근거가 뭔데 - dc App

[익명(219.249)]

그거야 인류가 아직 모르는 미지의 분야지. 실제로 구조가 같은지 다른지 다르다면 어떻게 다른건지 아직 모름. 다만 고작 ”인간은 단어를 자기 맘대로 생성할 수 있다“는게 확률적 앵무새 관점에서 언어모델과 인간의 분명한 차이의 근거가 될수는 없다는 거임. - dc App

[익명(59.25)]

언어모델(앵무새)는 가장 확률이 높은 다음 단어를 내뱉는데 인간은 확률과 상관없이 얘기하는거 아님? - dc App

[익명(219.249)]

그걸 아직 모른다니까. 당연히 GPT 의 transformer 구조의 마지막 softmax 모듈처럼 확률을 계산해서 가장 정확한 토큰을 선택하는 원리는 아니겠지. 근데 인간이 지금까지 보고들은 언어들을 뇌에다 모델화시켜서 앞에서 출력한 단어를 그 모델에 집어넣어서 하나씩 순서대로 출력하는 구조라면 결국 인간이 언어를 사고하는 방식도 autoregressive model이 아니냐 이소리임. - dc App

[익명(59.25)]

오토 머시기가 뭔지는 모르겠는데 그 오토머시기가 다음단어를 예측하는 방법이 확률을 사용한거라면 인간은 그런방식이 아니라고 생각함 - dc App

[ramune(jin073131)]

대신 설명해줄게. 변수, 딥러닝에서는 파라메터라고 부르는 거의 크기를 충분히 키우면 우유 다음에 올 단어로 가장 높은 확률의 단어가 폭파하다가 될 수 있음. - dc App

[익명(222.101)]

남세동 대표말 아님? 저 말 때문에 욕 많이 먹긴 했음

[익명(59.25)]

샘알트만도 말함 - dc App

[라니(hopefulness0)]

언어모델은 완전 멍청한건 아닌데 너무 사고가 유연해서 좀 문제임

[익명(211.46)]

앵무새도 학습함