1.본적인 관점에서 볼 때, 저는 개인적으로 스케일링 법칙이 멈출 가능성은 거의 없다고 생각합니다. 만약 그렇게 된다면, 또 다른 이유는 아키텍처가 제대로 갖춰지지 않았기 때문일 수 있습니다. LSTM이나 RNN으로 이 작업을 시도했다면 기울기가 달라졌을 것입니다. 여전히 우리가 거기에 도달할 수도 있지만, 트랜스포머가 가지고 있는 과거에 대한 능력이 없을 때 표현하기 매우 어려운 것들이 있습니다.

- 스케일링 법칙 멈출 가능성 거의 없음


2. 어떤 분야에서는 초인적인 존재가 되고 어떤 분야에서는 그렇지 않은 존재가 될 수 있을까요? 복잡한 문제라고 생각합니다. 어떤 분야에서는 초인이 되지 못할 수도 있겠지만, 어떤 분야에서는 물리적 세계에서의 구현이 필요하기 때문입니다. 그러면 어떻게 될까요? 인공지능이 더 빠른 인공지능을 훈련하는 데 도움이 될까요? 그리고 그 빠른 AI가 모든 것을 감싸고 해결하나요? 물리적 세계가 필요하지 않을까요? 의미에 따라 다릅니다. 정렬 재앙이 걱정되나요? 대량 살상 무기를 만드는 것과 같은 오용이 걱정되나요? 인공지능이 인간의 연구를 대신할까 봐 걱정되나요? AI가 평균적인 인간이 하는 일을 할 수 있는 경제적 생산성의 한계점에 도달하는 것이 걱정되나요? 저는 이러한 다양한 임계값에 대한 답이 모두 다르다고 생각하지만, 몇 년 안에 모두 도달할 것이라고 생각합니다.


AI 시스템의 생산성이 높아짐에 따라 먼저 인간의 생산성을 높이고, 다음에는 인간의 생산성과 동등해지고, 어떤 의미에서는 어느 시점에서 일어나는 과학적 진보에 주요 기여자가 된다는 생각이 듭니다

임계값에 따라 다릅니다. 누군가가 모델을 보고 한 시간 정도 대화를 나눈다고 해도 일반적으로 잘 교육받은 사람이라면 그 정도는 그리 멀지 않을 수 있습니다. 2~3년 안에 그렇게 될 수 있다고 생각합니다.

- 인간 레벨 2-3년 내 가능


3.그리고 제가 생각하기에 가장 가속도가 붙는 것은 점점 더 많은 돈이 이 분야에 투입되고 있다는 점입니다. 사람들은 엄청난 경제적 가치가 있다는 것을 깨닫고 있기 때문에 가격, 즉 가장 큰 모델에 지출되는 금액이 100배 정도 올라갈 것으로 예상합니다. 그리고 이를 칩과 연결하기 위해 칩이 점점 더 빨라지고 알고리즘이 개선되고 있으며, 많은 사람들이 이 분야에서 일하고 있기 때문입니다.

- 앞으로 100배가 넘는 비용이 투입되는 모델이 나올것이고 점점 가속도가 붙고 있음



4.이는 스케일링에 따라 달라질 것입니다.

모델들이 우리보다 훨씬 더 많은 것을 알고 있다는 점에서 흥미로운 점이 있다고 생각합니다. 기술 수준이 높지 않더라도 이미 우위를 점하고 있는 것 아닐까요? 아마 그런 의미일 겁니다.
그 점에 대해서는 저도 잘 모르겠어요. 암기와 사실, 연결고리를 찾는 것은 확실히 모델들이 앞서 있는 분야인 것 같습니다. 그리고 아마도 그런 연결고리가 필요하고 상당히 높은 수준의 기술이 필요할 것 같아요.

특히 생물학 분야에서는 좋든 나쁘든 생물학이 복잡하기 때문에 현재 모델들은 많은 것을 알고 있으며, 이를 발견하고 연결고리를 도출하는 데 필요한 것이 바로 그것입니다. 생물학은 생각하고 공식을 만들어야 하는 물리학과는 다릅니다. 생물학에서는 많은 것을 알아야 합니다. 그래서 저는 모델들이 많은 것을 알고 있지만 이를 종합할 수 있는 기술 수준은 높지 않다고 생각합니다.
이제 막 이런 것들을 조합할 수 있는 단계에 있다고 생각합니다.

- AI 모델들의 뛰어난 능력을 조합할 수 있는 단계에 옴



5.이것이 남은 미스터리 중 하나입니다. 한 가지 방법으로 표현할 수 있는 것은 모델이 인간의 뇌보다 2~3배 정도 작다는 것입니다. 시냅스 수로 비교하면, 동시에 3~4배 더 많은 양의 데이터로 학습하는 셈입니다. 인간이 18세까지 발달하면서 보는 단어의 수를 비교하면 정확히 기억나지 않지만 수억 개 정도인 반면, 모델의 경우 수천억 개에서 수조 개에 달할 것으로 생각됩니다. 그 이유는 무엇일까요? 모델이 더 작기 때문에 훨씬 더 많은 데이터가 필요하기 때문에 상쇄되는 부분이 있습니다. 여전히 인간 수준에는 미치지 못합니다.

뇌에 대한 비유가 맞지 않거나 고장 났거나 누락된 요소가 있는 것입니다. 이는 물리학에서 미셸슨-말리 실험이나 다른 19세기 물리학의 역설을 설명할 수 없는 것과 마찬가지입니다. 우리가 잘 이해하지 못하는 한 가지가 있습니다. 인간은 아주 적은 양의 데이터를 보고도 여전히 잘 해냅니다.

한 가지 가설은 우리의 다른 양상과 같다는 것입니다. 어떻게 10^14비트를 인간의 뇌에 전달할 수 있을까요? 대부분은 이러한 이미지이며, 아마도 인간의 뇌 내부에서 일어나는 일의 대부분은 우리의 정신적 작업 공간에 이러한 모든 시뮬레이션 이미지 또는 이와 유사한 것이 포함될 것입니다.

하지만 솔직히 말해서 지적으로 우리는 그것이 일치하지 않는 이상한 일이라는 것을 인정해야 합니다. 제가 생물학적 유추에 약간 회의적인 이유 중 하나이기도 합니다. 5~6년 전만 해도 그렇게 생각했지만, 지금은 실제로 이 모델들을 유물로 눈앞에 두고 보니 거의 모든 증거가 우리가 본 것에 의해 가려진 것처럼 느껴집니다. 그리고 우리가 본 것은 인간의 뇌보다 훨씬 작지만 인간이 할 수 있는 많은 일을 할 수 있는 모델이지만 역설적으로 훨씬 더 많은 데이터가 필요한 모델입니다. 이 모든 것을 효율적으로 만드는 무언가를 발견할 수도 있고, 왜 이런 불일치가 존재하는지 이해할 수도 있겠지만, 결국에는 중요하지 않다고 생각합니다. 지금과 같은 방식으로 계속 확장한다면요. 이 시점에서 더 중요한 것은 모델의 능력을 측정하고 인간과 얼마나 차이가 나는지 확인하는 것인데, 제 생각에는 그 차이가 그리 크지 않은 것 같습니다.

- AI는 인간의 뇌와 다르게 작동하지만 발전에 있어 그것은 중요하지 않고 현재의 방식으로 충분



6.저는 지능이 무엇인지에 대한 큰 깨달음을 컴퓨팅이라는 덩어리를 통해 얻었습니다. 이 모든 개별 모듈이 있을 수 있습니다. 이 모든 복잡성이 있을 수 있습니다. 리치 서튼은 이를 '쓰라린 교훈'이라고 불렀습니다. 여러 가지 이름이 있습니다. 스케일링 가설이라고도 합니다. 이 가설을 처음 알아낸 사람은 2017년경이었습니다. 더 거슬러 올라갈 수도 있습니다. 아마도 셰인 레그(Shane Legg)나 레이 커즈와일이 이 가설을 처음 알았던 사람인 것 같습니다. 하지만 2014년부터 2017년 사이에 이를 이해하는 사람들의 수가 많이 늘어났습니다.

그게 큰 깨달음이었다고 생각합니다. 지능은 어떻게 진화했나요? 지능을 생성하는 데 특별한 조건이 필요하지 않고, 적절한 종류의 기울기와 손실 신호만으로 지능을 생성할 수 있다면 당연히 그 모든 것이 어떻게 일어났는지 신비롭지 않습니다. 과학적인 이해가 있었기 때문이죠.

모델이 할 수 있는 일을 지켜보면서 인간 지능에 대한 관점이 어떻게 바뀌었나요? 그 부분에 대해 좀 더 지적인 말이 있었으면 좋았을 텐데요. 한 가지 놀라웠던 점은, 생각했던 것보다 더 많은 것들이 제자리를 찾을 수 있을 거라고 생각했다는 것입니다. 저는 다양한 인지 능력이 모두 연결되어 있고 그 뒤에 숨겨진 비밀이 하나 이상 있을 거라고 생각했습니다. 하지만 이 모델은 각기 다른 시기에 다양한 것을 학습할 뿐입니다. 코딩은 아주 잘하지만 아직 소수의 정리를 증명하지는 못합니다. 인간도 마찬가지라고 생각하지만, 할 수 있는 일과 그렇지 않은 일이 병치되는 것이 이상하긴 합니다. 지능에 대한 이론이나 지능이 작동하는 방식이 주요 교훈인 것 같아요. 이 단어들 중 상당수는 하나의 연속체로 녹아듭니다. 일종의 비물질화죠. 저는 지능이라는 개념보다는 눈앞에 보이는 것을 더 중요하게 생각합니다.


- 지능의 의미에 대해 셰인 레그나 레커가 스케일링 가설을 처음 알았던걸로 보임







- dc official App