[🏆베스트] '2388번째 뉴런'

[익명(121.178)]

(Newmu : Alec Radford)

현재 OpenAI 최고의 천재로 알려진 Alec Radford, 일리야가 합작한 논문으로,

일리야도 OpenAI 역사에 큰 영향을 끼쳤다고 평가했던 'sentiment neuron'...

2016년 당시 미해결 과제, 누구도 감조차 잡고있지 못하고 있던 비지도 학습에서

처음으로 가능성을 엿보게 해준, 사소해보이지만 큰 나비효과를 불러왔던 연구

(일리야가 인터뷰에서 표현하기를,

그당시 얀 르쿤은 이곳저곳 돌아다니며 비지도 학습에 대한 그랜드 챌린지에 직면해 있다고 말하고 다녔다고 회상)

아마존 리뷰 데이터셋의 '다음 문자'를 예측하는 것으로 비지도학습한 모델에서

4096개 중 단 1개의 뉴런, 2388번째 뉴런이 리뷰가 긍정인지, 부정인지를 판별하고 있음을 알아낸 두 천재들

"우리 모델이 해석 가능한 기능을 학습하고 단순히 예측하는 것에 매우 놀랐습니다. Amazon 리뷰의 다음 문자는 감정이라는 개념을 발견하는 결과를 가져왔습니다. 우리는 이 현상이 우리 모델에만 국한된 것이 아니라 입력에서 다음 단계나 차원을 예측하도록 훈련된 특정 대규모 신경망의 일반적인 속성이라고 믿습니다."

이 발견은 GPT 개발로 이어졌으니

인공지능 역사상 손에 꼽는 나비효과가 아니었을까.

그들이 블로그에 남겼던 '다음 단계'

다음 단계 

우리의 결과는 일반적인 비지도 표현 학습을 향한 유망한 단계입니다. 우리는 언어 모델링의 부작용으로 양질의 표현을 학습할 수 있는지 탐구하여 결과를 찾았고, 신중하게 선택된 데이터 세트에서 기존 모델을 확장했습니다. 그러나 근본적인 현상은 명확하기보다는 신비로 남아 있습니다. 

-이러한 결과는 긴 문서의 데이터 세트에서는 그렇게 강하지 않았습니다. 우리는 문자 수준 모델이 수백에서 수천 개의 타임스텝에 걸쳐 정보를 기억하는 데 어려움을 겪는다고 생각합니다. 우리는 작동하는 타임스케일을 조정할 수 있는 계층적 모델을 시도해 볼 가치가 있다고 생각합니다. 이러한 모델을 더 확장하면 감정 분석 및 유사한 작업에서 표현 충실도와 성능이 더욱 향상될 수 있습니다.  -> 추후 트랜스포머 개발로 해결됨

-입력 텍스트가 리뷰 데이터와 더 많이 다를수록 모델은 어려움을 겪습니다. 텍스트 샘플의 코퍼스를 넓히면 더 넓은 도메인에도 적용되는 똑같이 유익한 표현이 나온다는 것을 확인하는 것이 좋습니다. -> 이 믿음은 스케일 법칙으로 이어짐

-우리의 결과는 매우 큰 다음 단계 예측 모델이 우수한 비지도 표현을 학습하는 설정이 존재한다는 것을 시사합니다. 대규모 비디오 컬렉션에서 다음 프레임을 예측하기 위해 대규모 신경망을 훈련하면 객체, 장면 및 동작 분류기에 대한 비지도 표현이 생성될 수 있습니다. 

그 때 게시글 읽어보면 Alec과 일리야가 얼마나 천재적인 직감과 예측력을 가지고 있었는지 잘 알 수 있음

https://openai.com/index/unsupervised-sentiment-neuron/

Just a moment...

[익명(183.104)]

무슨 말인지 도통 못 알아 먹겠네... 커넥톰과 관련된 이야기임?

[익명(121.178)]

딥러닝!

[익명(121.178)]

사람이 모델한테 '리뷰의 감정'에 대한 정답값을 만들어서 따로 제공해주거나 하지 않고, 그냥 아마존 리뷰의 '다음 문자'만 맞추게 했는데 그 과정에서 모델이 '리뷰의 긍정 부정' 여부를 판단하는 새로운 기능을 가지게 됐다는 것임. 일리야는 여기서 큰 깨달음을 얻음. 이런 식으로 비지도학습 시키면 데이터 속에 담긴 개념같은 것들을 사람이 가르쳐주지 않아도 모델이 알게 되겠구나 하는 믿음으로 GPT 개발이 이어짐.

[익명(183.104)]

자세한 설명 고맙다..... 진짜 천재들은 다양한 부분에서 깨달음을 얻는구나

[익명(116.123)]

잘 이해가 안되는데 은닉층에 있는 뉴런 하나에서 값이 신 산출된다는거야?

[익명(121.178)]

블로그 글 보면 이해가 쉬울듯 - dc App

[익명(dread2836)]

영화에서 보면 이런게 비극의 시작 아니냐

[익명(dread2836)]

"실험중인 모델 특붕-3의 2388번째 뉴런에서 감정 탐지기능이 발견되었습니다." "실험 데이터에 감정피드백은 없는거로 알고있는데" "데이터는 확실합니다. 기능이... 발현되었습니다." "...가속...되는건가..." (타이틀) 특붕-3 --수직의 시대--

[익명(121.178)]

비극인진 몰겠지만 넓게 보면 ㄹㅇ 이거긴함ㅋㅋㅋ - dc App

[MoonChild(aowlr2001)]

[양자장(qtamdc)]

https://arxiv.org/abs/1704.01444

[양자장(qtamdc)]

Learning to Generate Reviews and Discovering Sentiment Alec Radford, Rafal Jozefowicz, Ilya Sutskever

[익명(dread2836)]

ㄱㅅ

[익명(landofooo)]

오