[📪정보] 대형 언어모델(LLM)의 창발성은 환각일 뿐이다.nature

[익명(1.231)]

https://www.nature.com/articles/d41586-023-04094-z

Will superintelligent AI sneak up on us? New study offers reassurance

인공지능(AI) 초지능이 갑자기 나타날까요, 아니면 과학자들이 그 출현을 예견하고 세상에 경고할 기회를 가질까요? 이는 최근 ChatGPT와 같은 대형 언어 모델(LLM)이 등장하면서 많은 주목을 받은 질문입니다. 이러한 LLM은 규모가 커짐에 따라 방대한 새로운 능력을 달성했습니다. 일부 연구 결과는 AI 모델이 예측할 수 없는 방식으로 급격하게 지능을 얻는 현상인 "창발"을 지적합니다. 그러나 최근 연구에서는 이러한 사례를 테스트 과정에서 발생하는 "환각"이라고 부르며 혁신적인 능력은 점진적으로 구축된다고 제안합니다.

Mozilla Foundation에서 인공 지능 감사를 연구하는 컴퓨터 과학자인 Deborah Raji는 "그들이 '마법 같은 일은 일어나지 않았다'고 말하는 것은 잘한 일이라고 생각합니다."라고 말합니다. "정말 훌륭하고, 확실하며, 측정에 기반한 비평"입니다.

이 연구는 지난 주 뉴올리언스에서 열린 NeurIPS 기계 학습 컨퍼런스에서 발표되었습니다.

클수록 좋은 언어모델

대규모 언어 모델은 일반적으로 방대한 양의 텍스트 또는 기타 정보를 사용하여 학습되며, 이를 통해 다음에 무엇이 올지 예측하여 현실적인 답변을 생성합니다. 명시적인 훈련 없이도 언어를 번역하고, 수학 문제를 풀고, 시나 컴퓨터 코드를 작성할 수 있습니다. 모델이 클수록(일부는 조정 가능한 매개변수가 1000억 개가 넘습니다) 더 나은 성능을 발휘합니다. 일부 연구자들은 이러한 도구가 결국 대부분의 작업에서 인간과 비슷하거나 심지어 인간을 능가하는 인공 일반 지능(AGI)을 달성할 것으로 예상합니다.

새로운 연구는 창발에 대한 주장을 여러 가지 방법으로 테스트했습니다. 한 가지 접근 방식에서 과학자들은 네 자리 숫자를 더하는 네 가지 크기의 OpenAI GPT-3 모델의 능력을 비교했습니다. 절대 정확도를 보면, 세 번째와 네 번째 크기의 모델 간 성능은 거의 0%에서 거의 100%까지 차이가 났습니다. 그러나 정답으로 예측된 숫자의 수를 고려하면 이러한 경향은 덜 극단적입니다. 연구진은 또한 모델에 더 많은 테스트 질문을 제공함으로써 이 곡선을 완화할 수 있다는 사실도 발견했습니다. 이 경우 크기가 작은 모델이 때때로 더 올바르게 대답했습니다.

다음으로 연구원들은 몇 가지 작업에서 Google의 LaMDA 언어 모델의 성능을 살펴봤습니다. 아이러니를 찾아내거나 속담을 번역하는 등 명백한 지능의 급상승을 보인 작업은 대부분 정답과 오답을 개별적으로 채점하는 객관식 과제였습니다. 대신 연구진이 모델이 각 답변에 부여한 확률(연속적 측정 기준)을 조사하자 이러한 창발의 징후가 사라졌습니다.

마지막으로 연구진은 창발에 대한 주장이 적은 분야인 컴퓨터 비전으로 눈을 돌렸습니다. 연구진은 이미지를 압축한 다음 재구성하도록 모델을 훈련시켰습니다. 단지 정확성에 대한 엄격한 임계값을 설정하는 것만으로도 명백한 창발을 유도할 수 있었습니다. 시애틀에 있는 워싱턴 대학교에서 AI와 상식을 연구하는 컴퓨터 과학자 최예진 씨는 "연구팀의 조사 설계 방식이 창의적이었습니다."라고 말합니다.

배제할 수 없는 가능성

연구 공동저자인 캘리포니아주 팔로알토에 있는 스탠포드 대학의 컴퓨터 과학자인 산미 코예조(Sanmi Koyejo)는 일부 시스템이 갑작스러운 "위상 변화"를 보인다는 점을 고려할 때 사람들이 창발이라는 개념을 받아들이는 것이 비합리적이지 않다고 말합니다. 그는 또한 이번 연구가 미래의 시스템은 물론이고 대규모 언어 모델에서도 이를 완전히 배제할 수는 없지만 "현재까지의 과학적 연구에 따르면 언어 모델의 대부분의 측면이 실제로 예측 가능하다"고 덧붙였습니다.

Raji는 커뮤니티가 신경망 아키텍처 개발보다 벤치마킹에 더 많은 관심을 기울이는 것을 보고 기쁘게 생각합니다. 그녀는 연구원들이 한 걸음 더 나아가 작업이 실제 배포와 얼마나 잘 연관되어 있는지 묻기를 바랍니다. 예를 들어, GPT-4가 그랬던 것처럼 변호사 지망생을 위한 LSAT 시험에 합격하면 모델이 법률 보조원 역할을 할 수 있을까요?

이 작업은 AI 안전과 정책에도 영향을 미칩니다. 라지는 "AGI에 열광하는 사람들이 '창발'이라는 주장을 활용하고 있다"고 말합니다. 부당한 두려움은 규제를 강화하거나 더 시급한 위험으로부터 관심을 돌리게 할 수 있습니다. "모델들은 개선을 하고 있고, 그러한 개선들은 유용합니다."라고 그녀는 말합니다. "하지만 그것들은 아직 의식에 접근하고 있지 않습니다."

[익명(1.231)]

어어 안된다

[익명(104.28)]

4월달에도 비슷한 연구 있었는데 뭘 새삼 이럼

[익명(104.28)]

https://arxiv.org/abs/2304.15004
https://www.forbes.com/sites/andreamorris/2023/05/09/ai-emergent-abilities-are-a-mirage-says-ai-researcher/?sh=4f7b7a01283f

[익명(39.115)]

피어리뷰 통과하고 네이처 헤드라인에 뜬게 큰 차이인 듯

[익명(eng1010)]

그러니까. 창발은 0.000001%의 극소한 확률로 발생하는데, 우리가 창발성있다고 느낀 답변들의 토큰 확률은 사실 매우 높은 값들이었다는 건가?

[익명(eng1010)]

근데 예전부터 나오던 lllm한계 아닌가

[익명(eng1010)]

뭐 답변들의 관점에선 이렇게 이해할 수 있겠고, 모델의 관점으로 보면 결국 아무리 학습해서 버전업해도 갑작스런 초지능이 튀어나올 일은 없다는 거고, 인류 예측 범위 안에 다 들어가는 거 결국 인간 손바닥 위에만 머물뿐이란거네 LLM은

[익명(182.211)]

환각 = 창의성 원래 있던 말인데... gpt3나올때부터 있던....

[익명(112.171)]

LLM 쓰는게 전 모델들 보다 뛰어난 (창발된)능력들인데 이게 다 환각으로 인한거면 정렬하면 사라진다는겨?

[익명(112.172)]

창발을 인위적으로 유도하거나 없앨 수 있다는거 보면 그런거 같은데

[익명(112.171)]

창발된 능력만 쓰고 환각만 없앨수 있다면 베스트이긴한데

[익명(112.172)]

이 논문에서는 창발 = 환각이라는거

[익명(182.211)]

큐스타 보면 그런소리 쏙 들어갈텐데. 빨리 GPT5가 나와야한다

[익명(125.134)]

자기는 본거처럼 얘기하네

[익명(220.76)]

ㄴ하 ㅅㅂㅋㅌㅋㅋ 이래서 갤 못 끊음ㅋㅋㅋㅋㅋㅋㅋㅋ개웃기네

[익명(125.128)]

사람들이 아무도 논문 내용을 이해 못 하고 있는데 기존 사람들이 생각하던 것처럼 파라미터 수를 늘릴 때 지능이 '갑자기' 증가한게 아니라 '완만하게' 증가해왔다는 얘기임. gpt 4가 나쁘다는 얘기가 아니라 gpt 3.5가 생각보다 성능이 좋다고 쉽게 생각하면 됨.

[익명(1.239)]

예전 정보글에서는 스케일을 늘릴 때마다 새로운 능력을 획득하고 더 늘리면 상황인식 능력도 얻을거라 했는데 완전히 반대되는 내용이라 그렇지

[익명(1.239)]

https://m.dcinside.com/board/thesingularity/354267

[익명(220.92)]

수익감소 때문애 그런거 같은데 아무리 패러미터가 많아도 뽑아낼 수 있는 학습데이터의 총량은 한계점이 있으니

[익명(eng1010)]

근데 3.5는 진짜 쓰레기 그자체아님?

[익명(210.205)]

사실 인간의 창의력도 다 환각이었던걸수도 있잖음? 뭔 근거로 저렇게 말하는거임? 반기술주의자들이 네이쳐에 로비한거같다

[익명(220.92)]

근데 인간이 보여주는 창의성도 어쩌다 보니 하나 얻어 걸려서 그것이 실생활에 겁나 유용하고 대중들에게 강력하게 어필되더라 라는게 많음 우리가 지금 사용하는 언어와 수학도 수많은 집단지성에서 나온 창의적인 아이디어들이 교차검증을 통한 필터작업을 통해서 걸러내고 걸러내서 그것을 '공식화' 를 통해 라벨링을 해버림 인공지능이 보여준 인간지식에서 벗어난 '새로운 지식' 도 교차검증을 통해서 하나 얻어걸리게끔 만들 수 있다는 점

[익명(125.134)]

이해를 못하고 일단 공격을하려하지 마셈

[익명(118.217)]

210얘는 진짜 광신.도네 - dc App

[익명(180.230)]

흔히 창의력 좋은 예술가나 천재들중에 정신병자가 많다 뭐 이런 소리도 혹시?

[익명(211.109)]

안돼...

[네덕근첩(naverduck1234)]

온도2로 풀가동하니까 창의력 줬대는데 먼소리야 이건. 챗지피티로 벤치마킹하니까 저지랄나지 물박사 개많다 요즘