지금 시점에서는 정말 시간 문제라고밖에 보여지지 않음. 기존에도 개발되는것들 보면서 생각했지만

며칠전에 OpenAI 출신이고 Anthropic에서 일한다는 Chris Olah의 인터뷰 요약이 념글 갔는데 이 인터뷰

전문을 보면서 확신했음.


https://80000hours.org/podcast/episodes/chris-olah-interpretability-research/#unusual-things-about-anthropic-023032


크리스 올라:글쎄, 나는 우리가 신경망의 큰 덩어리가 어떻게 작동하는지 진정으로 이해할 수 있다고 생각합니다. 우리는 실제로 신경망 덩어리를 리버스 엔지니어링하고 가중치를 손으로 쓸 수 있을 정도로 잘 이해할 수 있습니다. 모든 가중치가 0으로 설정된 신경망을 선택하고 가중치를 직접 작성하면 신경망의 해당 청크와 동일한 작업을 수행하는 신경망을 다시 이식할 수 있습니다. 이전 네트워크에 연결하고 이해한 부분을 교체할 수도 있습니다. 그래서 저는 그것이 시스템을 이해하기 위한 매우 높은 기준이라고 생각합니다. 저는 때때로 해석 가능성을 세포 생물학이나 다른 것과 같은 것으로 상상하고 싶습니다. 여기서 세포를 이해하려고 합니다. 그리고 아마도 우리가 세포에 있는 하나의 작은 세포 소기관을 이해할 수 있는 지점에 도달하기 시작했다고 생각합니다.


일단 이사람은 이런식으로 신경망이 구체적으로 어떻게 작동하는지 연구했고 어느정도 알아낸 걸로 보이는데


Chris Olah: 글쎄요, 어떤 의미에서 당신은 그것을 완전히 이해할 수 있지만, 당신은 작은 부분을 이해합니다. 몇 개의 뉴런이 무엇을 하고 있으며 어떻게 연결되는지 이해할 수 있습니다. 당신의 이해가 단지 기본적인 수학이라는 지점까지 도달할 수 있고, 그것이 하는 일을 통해 기본적인 논리와 추론을 할 수 있습니다. 그리고 문제는 이것이 모델의 작은 부분에 불과하지만 모델의 작은 부분에서 실행되는 알고리즘과 수행하는 작업을 문자 그대로 이해한다는 것입니다.


기존의 우려와 달리 신경망의 일부분들은 이미 뇌의 뉴런들처럼 담당하는 작업들에 대해 이해하고 반응한다고 함


Chris Olah: 그리고 사실, 이러한 것들 중 일부는 인간에게서 찾았습니다. 따라서 이러한 낮은 수준의 시각 사물 중 일부는 신경과학의 결과를 반영하는 것 같습니다. 그리고 사실, 우리의 가장 최근 연구에서 우리는 이전에 인간에게서만 볼 수 있었던 이 다중 모드 뉴런을 발견했습니다.


그리고 인간에게만 보였던 멀티 모달 뉴런을 발견했다고 함


Chris Olah: 다른 비전 모델에서 볼 수 있는 것과 동일한 것들이 CLIP의 초기 비전에서도 많이 발생합니다. 그러나 끝으로 갈수록 우리 는 이전에 본 것과는 매우 다른 믿을 수 없을 정도로 추상적인 뉴런 을 발견합니다 . 이 뉴런에 대해 정말 흥미로운 한 가지는 읽을 수 있다는 것입니다. 그들은 가서 텍스트와 이미지를 인식하고 이것을 함께 융합하여 감지되는 것과 함께 융합합니다.


크리스 올라:예를 들어 노란색 뉴런이 있는데 노란색에 반응하지만 노란색이라는 단어를 쓰면 반응합니다. 그것도 불이 날 것이다. 그리고 실제로 노란색 물체에 대한 단어를 쓰면 불이 붙습니다. 따라서 '레몬'이라는 단어를 쓰면 불이 붙거나 '바나나'라는 단어가 붙습니다. 이것은 실제로 비전 모델에서 찾을 것으로 기대하는 종류가 아닙니다. 그것은 어떤 의미에서는 비전 모델이지만 어떤 면에서는 거의 언어 처리를 하고 있으며 우리가 이러한 다중 모드 뉴런이라고 부르는 것으로 함께 융합하고 있습니다. 그리고 이것은 신경과학에서 발견된 현상입니다. 따라서 사람들에게도 이러한 뉴런이 있습니다. Spider-Man이라는 단어를 이미지로 사용하는 Spider-Man 뉴런이 있습니다. 마치 Spider-Man이라는 단어의 그림과 같이 Spider-Man의 사진과 Spider-Man의 그림에 대해서도 마찬가지입니다.


예를 들어 이런식으로 스파이더맨이라는 단어나 이미지 한 부분만이 아니라 관련된 여러 부분에 반응하는 식


Chris Olah: 사실, 많은 뉴런들이 그냥 지나치면 마치 유치원 수업이나 초등학교 저학년 수업에서 나오는 것과 같은 느낌이 듭니다. 당신에게는 색 뉴런이 있고, 모양 뉴런이 있고, 계절과 월, 날씨, 감정, 세계의 지역, 국가의 지도자에 해당하는 뉴런이 있습니다. 그들에게 놀라운 추상적 인 자연.


이런식으로 인간의 뇌는 각각 다른 부분을 담당하는 뉴런들로 이뤄져있고 신경망도 마찬가지라고 보임


Chris Olah: 아마도 가장 좋은 시작점은 가장 순진한 것입니다. 즉, 회로 접근 방식을 있는 그대로 시도하고 확장하려고 하면 그렇게 할 희망이 있습니까? 그리고 제가 가장 기대하는 것은 아니지만 실제로 사람들이 생각하는 것보다 더 그럴듯하다고 생각합니다. 거기에는 두 가지 이유가 있습니다. 따라서 첫 번째 이유는 신경망이 커질수록 연구할 회로가 더 많고 연구할 기능이 더 많지만 어떤 면에서 회로의 기능이 더 명확하고 이해하기 쉬워지기 때문입니다.


이부분에서 스케일링 법칙의 유효성에 대해 생각해볼 수 있음. 신경망의 절대적인 파라미터 수가 늘어나면 자연스레 여러 기능들의 집합이 자리잡기 시작하는것임.

큰 변화가 없었는데 gpt-3가 이전 버전에 비해서 큰 진전을 이룬 이유가 이때문이라고 생각함.


크리스 올라: 맞습니다. 나는 때때로 당신이 정말로 약한 모델을 가지고 있을 때, 그것들이 많은 것을 함께 얽히게 하는 매우 혼란스러운 방식으로 사물을 표현하고 있다고 생각합니다. 그리고 그것은 실제로 그것들을 연구하기 어렵게 만듭니다. 그리고 종종 모델이 더 강해지면 실제로 어떤 면에서는 더 선명하고 덜 엉키고 더 깨끗해지는 것처럼 보입니다.


이렇듯 모델이 더 강해지면(커지면) 기능들을 담당하는 신경망의 부분들이 덜 엉키고 잘 작동하는 이점도 있음


Rob Wiblin: 부분적으로는 그들이 원하는 만큼 많은 매개변수를 갖고 있지 않기 때문에 동일한 회로에 여러 가지 다른 개념을 집어넣어 이중 작업을 수행해야 하기 때문입니까?

Chris Olah: 네, 아마도 그것의 일부라고 생각합니다. 우리가 다의미성(polysemanticity)이라고 부르는 이 문제가 있습니다. 이것은 뉴런이 일종의 다중 역할을 수행하는 경우입니다. 나는 또한 그것들이 일종의 문제를 분리하는 실제 추상화를 표현하지 못할 수도 있다고 생각합니다. 그들은 말 그대로 올바른 추상화를 구축할 수 있는 계산 능력이 없기 때문에 차선의 추상화로 작업하고 있습니다. 흥미로운 것이 있습니다. 조금 다르지만 제이콥 힐튼 의 논문입니다., 여기서 그들은 몇 가지를 탐구합니다. 그들은 점점 더 다양한 데이터에 대해 모델을 훈련시킵니다. 기능은 그렇게 하면 할수록 해석하기 쉬워집니다. 나는 이것이 아마도 이 방향을 가리키는 가장 엄격한 결과일 것이라고 생각합니다. 그것은 더 나은 모델을 가질수록 더 해석하기 쉬워지는 어떤 방법이 있다는 것을 암시합니다.


여기서 사회자가 한 질문이 아주 중요하다고 생각하는데, 모델이 목표한 기능에 비해 파라미터 수가 부족할때 기존에 있던 신경망의 부분들이 전혀 다른 기능을 수행하게 된다고 함. 여기서 강화학습이 빛을 발한다고 봄. 사람만 봐도 뇌 용적은 다 거기서 거기인데 지능은 정말 천차만별임. 같은 규모의 뉴런들을 가진 뇌여도 어떻게 연결되고 활동하느냐에 따라 성능이 크게 갈린다는거임.

또한 gpt-3가 말만 잘하지 논리적인 부분이 매우 부족하다는 문제가 모델이나 훈련 자체에 문제가 있는게 아니라 파라미터 수가 충분하지 않아서 신경망의

기능들이 언어능력쪽에 몰린탓에 수학, 논리쪽의 기능들이 들어갈 자리가 없었다고 생각함. 실제로 미세조정한 후에는 기존의 언어 부분 대신에 논리 추론

능력쪽의 기능이 들어간건지 인간만큼은 아니여도 어느정도 문제를 해결하기도 했음.


이렇듯 인간정도의 지능, 문제해결능력을 보여줄 기능들이 들어갈 충분한 파라미터가 확보되고 그 파라미터들에 저러한 기능들이 효과적으로 배치될 수 있도록

강화학습을 적용하면 agi의 개발은 정말 머지않았다고 본다.

저 인터뷰도 읽어볼만하니 시간나면 한번 읽어보길 추천함.