gpt3 에서 gpt4 에서 넘어갈때 생긴 '급격한 지능향상' 을 예로들며 사람들이 "패러미터 증가로 인해 지능이 '창발' 되었다" 라고 생각하는것 자체가 '환각' 이라는 뜻임
그래서 Deborah Raji는 "그들이 '마법 같은 일은 일어나지 않았다'고 말하는 것은 잘한 일이라고 생각합니다."라고 말합니다. 라고 말한거임
괜히 창발이고 마법이라는 단어를 써다가 AGI 추종자들이 '근들갑' 하는 결과를 야기 할 수 있다는 것
GPT3 --> GPT4 로 넘어갈때의 지능향상이 마치 급격하게 생긴것 같지만 패러미터를 대비해서 생각해보면 그것은 급격한 지능향상이 아니라 '완만한 지능향상' 임
패러미터가 많아지니 당연히 OUTPUT 하는 결과값이 좋아질 수 밖에 없는 것
하지만 스케일의 법칙은 수익감소로 인해서 아무리 데이터를 추가해도 지능향상에 대한 유의미한 결과를 얻을 수 없는 임계점에 도달해 버림
그래서 샘 알트만이 "이제는 스케일이 아니라 메커니즘의 변화가 있어야 될 것" 이라고 한거고
저 기사를 유심히 읽어보길 바람
LLM 의 '창발성' 과 '창의성' 을 부정한 적 없음
1. "명시적인 훈련 없이도 언어를 번역하고, 수학 문제를 풀고, 시나 컴퓨터 코드를 작성할 수 있습니다. 모델이 클수록(일부는 조정 가능한 매개변수가 1000억 개가 넘습니다) 더 나은 성능을 발휘합니다."
2. "연구진은 이미지를 압축한 다음 재구성하도록 모델을 훈련시켰습니다. 단지 정확성에 대한 엄격한 임계값을 설정하는 것만으로도 명백한 창발을 유도할 수 있었습니다."
창발성 자체가 이전에 없던 능력이 뿅하고 튀어나온다는 뜻인데 부정하지 않는다니 뭔소리지
창발(創發) 또는 떠오름 현상은 하위 계층(구성 요소)에는 없는 특성이나 행동이 상위 계층(전체 구조)에서 자발적으로 돌연히 출현하는 현상이다. 또한 불시에 솟아나는 특성을 창발성(영어: emergent property) 또는 이머전스(영어: emergence)라고도 부른다.
저기사는 "패러미터 증가로 인해 지능이 '창발' 되었다" 라고 생각하는것 자체가 '환각' 이라고 하고 있는거라고
사전적 의미 들고오지말고 문맥과 맥락에서의 의미를 이해하면 됨
'AI 모델이 예측할 수 없는 방식으로 급격하게 지능을 얻는 현상인 "창발"을 지적합니다. 그러나 최근 연구에서는 이러한 사례를 테스트 과정에서 발생하는 "환각"이라고 부르며 혁신적인 능력은 점진적으로 구축된다고 제안합니다.'
현재 LLM 이 보여주는 '부분적인 창발성' 으로는 '의식' 이라는 인간이 가지고 있지만 정확하게 이해할 수 없는 관념적 개념을 이해할 수 있는 수단이 아니다 가 저 기사의 요점임
사람들이 GPT3 --> GPT4 로 넘어갈때 지능향상이 비약적이니까 인간의 상식선에선 "어? 이거 지능 창발된거아님?" 이라고 생각하고 이것이 AGI 출현의 근거로 사용하는데 그게 아니라 '패러미터가 많아지니 자연스럽게 OUTPUT결과물이 좋아졌을뿐' 이라고 말하는거라고
사전적 의미 충 한테는 사실상 먹이금지 하는데 너는 이해하려고하는거 같아서 걍 설명해준거다 본문다시읽어보셈
결국 예측할 수 없는 방식으로 급격하게 지능을 얻는 현상인 "창발"을 부정한건데 사전적으로도 기사 내적인 의미로도 부정하는거 아님?
부분적인 창발이라는 말은 아예 나오지도 않는데
'결국 예측할 수 없는 방식으로 급격하게 지능을 얻는 현상인 "창발"을 부정' 한건 맞음 하지만 LLM을 단순히 '확률학적 앵무새' 라고 치부하는건 아니라고 말하는거임
예시 1,2번은 어떤 의미로도 창발이 아니지
2번에서 말하는 창발의 유도 자체가 창발을 부정하는 내용임
과학이랑 인공지능이라는 주제로 이야기하는게아니라 국어적인 관점에서 이것을 이해하려고하는거 같음 토론중지할게
나는 과학과 이과적인 측면에서 이해하려고하는거지 사전적 의미 들고와서 이 체계를 설명하고자하는게아님 이 토론의 결말도 대충보이니까 토론중지함 댓글그만쓰셈
나는 확률론적 앵무새가 맞다고 주장하는게 아니라 기사에서 창발성을 부정하는게 맞다고 하는건데 이걸 이렇게 몰아가 버리네
2. 명백한 창발을 유도 이거 자체가 창발이 허깨비라는 건데 게이는 도대체 뭘본거노
'지능이 '창발' 되었다 라고 생각하는것 자체' 를 부정한거지 llm 자체의 창발성을 부정한게 아ㄴ라고
"대규모 언어 모델은 일반적으로 방대한 양의 텍스트 또는 기타 정보를 사용하여 학습되며, 이를 통해 다음에 무엇이 올지 예측하여 현실적인 답변을 생성합니다. 명시적인 훈련 없이도 언어를 번역하고, 수학 문제를 풀고, 시나 컴퓨터 코드를 작성할 수 있습니다. 모델이 클수록(일부는 조정 가능한 매개변수가 1000억 개가 넘습니다) 더 나은 성능을 발휘합니다." 라고 말함으로서 LLM 자체의 창의성과 창발성 은 인정하되 일반적인 인간들이 '지능이 창발되었다' 라고 생각하는거 자체는 테스트할때 인간들이 걍 환각일으킨거 라고
LLM 자체의 창발성이라는게 설마 언어를 번역하고, 수학 문제를 풀고, 이거 말하는건가
"현재까지의 과학적 연구에 따르면 언어 모델의 대부분의 측면이 실제로 예측 가능하다"고 덧붙였습니다. 언어 모델이 예측 가능하다는 측면에서 이미 LLM의 창발성을 부정하는거 아니냐
ㅇㅇ 그리고 본래 가지고 있는 지식에서 더 나은 지식을 만드는건 현재도 XOT 랑 몬테카를로 법칙으로 가능하고 알파폴드도 근본메커니즘은 현재 인공지능이 차용하고 있는 기법과 다르지 않는 데도 신약개발에 적극적으로 개입중임
'예측이 가능하다' 라는 말이 얘가 뭘내놓을지 원래 있는 지식내에서 가능하다는 뜻이 아니라 "대신 연구진이 모델이 각 답변에 부여한 확률(연속적 측정 기준)을 조사하자 이러한 창발의 징후가 사라졌습니다." '각 답변에 부여한 확률' 을 조사해서 거슬러 올라가자 이것이 창발이라기 보다는 예측된 결과값에 가깝더라 라고 말하는거임 다만 지식자체로만 보면 새로운게 맞아서 '창발' 이라고 봐도 무방함
XOT 기법을 사용하게되면 적은 데이터값만으로도 이 데이터 하나만으로 여러가지의 양질의 합성데이터를 추론해낼 수 있는데 '이 추론된 결과값 자체' 는 '확률조사' 로 충분히 얘가 이런걸 내놓을 것이라고 예측이 가능하다는것임 하지만 얘한테 부여한 적은 데이터 값 내에서 '이 추론된 결과값을 예상하는게' 아 니라는거
아오 이래서 문과적으로 접근하는 사람하고 토론하는게 힘들다는 거임 이 방대한 감각을 언어적으로 풀이하는데에 빨리는 기가 어마무시하다
이 댓글은 게시물 작성자가 삭제하였습니다.