[📪정보] 닉 보스트롬) 느린 도약이 불가능한 이유

[익명(hangulnick0)]

https://gall.dcinside.com/mgallery/board/view/?id=thesingularity&no=357352&exception_mode=recommend&page=1

<span style="font-size:12pt;font-family:'Malgun Gothic', '맑은 고딕', AppleGothic, sans-serif;color:rgb(0,0,0);">특이점 용어) 빠른 도약, 느린 도약이란 무엇일까? </span><span style="font-size:12pt;font-family:'Malgun Gothic', '맑은 고딕', AppleGothic, sans-serif;color:rgb(0,0,0);"> </span><span style="font-family:'Malgun Gothic', '맑은 고딕', AppleGothic, sans-serif;color:rgb(0,0,0);"> </span>

...

...

지능 변화율을 시스템의 최적화 능력과 시스템의 저항성의 비율로 나타낼 수 있다.

지능의 변화율(dI/dt) = 최적화 능력(D) / 저항성(R)

한 시스템에 작용하고 있는 최적화 능력은 시스템 자체가 기여한 최적화 능력과 외부에서 시스템에 가해진 최적화 능력의 합이다. 예를 들면, 씨앗 인공지능(seed AI)은 인공지능 그 자체의 노력과 인간 컴퓨터 프로그래머들의 노력이 더해져서 향상될 것이고, 어쩌면 반도체 산업, 컴퓨터 과학, 그리고 연관된 분야에서 지속적인 발전을 주도하고 있는 전 세계의 연구자들의 노력도 여기에 포함시킬 수 있을 것이다.

최적화 능력(D) = D(system) + D(project) + D(world)

씨앗 인공지능은 매우 제한된 인지능력에서 시작한다. 따라서 처음에는 D(system)이 작다. 그렇다면 D(project)나 D(world)는 어떠할까? 소규모의 집단이 주도하는 연구 프로젝트가 관련된 분야의 전 세계 모든 연구진을 합친 것보다 더 우월한 몇 가지 사례가 있다. 그런 사례로는, 전세계의 가장 뛰어난 물리학자들 중 상당수를 로스 앨러모스로 데려와서 원자폭탄을 만들도록 한 맨해튼 프로젝트가 있다. 사실 그 어떤 연구 프로젝트든지 전 세계의 관련된 연구능력 중 아주 작은 부분만을 다루고 있을 뿐이다. 그러나 관련 분야에 대한 전 세계의 모든 연구능력이 특정 연구 프로젝트의 능력을 초과하더라도, D(project)는 D(world)보다 더 클 수 있다. 왜냐하면 전 세계의 연구능력의 대부분이 지금 해결하려는 특정한 시스템에 한꺼번에 집중되어 있지는 않기 때문이다. 어떤 연구 프로젝트가 가능성이 있다면-어떤 시스템이 인간 수준을 넘어서거나 근접했을 때와 같이-추가적인 연구자금을 끌어들일 수도 있고, 따라서 D(project)가 더 증가된다. 만약 이 연구의 결과가 대중에게 공개된다면, 기계지능에 대한 관심이 전반적으로 증가하고 또한 다양한 세.력들이 이해관계에 참여하면서 D(world)도 증가할 수도 있다. 따라서 이행 단계에서, 인지 시스템을 개선하기 위해서 가해진 총 최적화 능력은 시스템의 능력이 증가함에 따라 더 커질 가능성이 높다. 시스템의 능력이 점점 더 증가하면서, 시스템 그 자체가 생성한 최적화 능력이 외부에서 유래된 최적화 능력을 압도하기 시작하는 시점이 올지도 모른다(시스템 개선의 측면에서 모든 의미있는 단계를 넘어서는 시점이다).

D(system) > D(project) + D(world)

이 시점 이후부터는 시스템의 능력의 추가적 향상에 따라서 시스템 개선에 필요한 총 최적화 능력이 얼마나 크게 증가될 것인지가 결정될 것이므로 이 분기점은 매우 중요하다. 따라서 이때부터, 아주 강한 순환적 자기-개선(recursive self-improvement)의 단계에 들어서게 된다. 이러한 점 덕분에 저항상 곡선의 아주 다양한 형태와 무관하게 시스템 능력의 폭발적인 성장이 나타나게 된다.

...

...

이것을 분명히 하기 위해서, 우선 저항성이 일정한 상황, 즉 인공지능의 지능 증가율이 시스템에 가해지는 최적화 능력과 동일한 상황을 생각해보자. 여기서 가해지는 최적화 능력이 모두 인공지능 그 자신이 제공하는 것이라고 가정하고, 이 인공지능은 자신의 모든 지능을 지능의 향상을 위해서 사용한다면 D(system) = I가 된다. 즉 다음과 같다.

지능의 변화율(dI/dt) = I / k

이 단순한 미분방정식을 풀면 다음의 지수함수가 나온다

I = Ae^(t/k)

그러나 저항성이 일정하다는 것은 아주 특수한 상황이라고 할 수 있다. 일단 기계지능이 인간 수준에 근접하면 앞에서 살펴본 여러 가지 요인들 때문에 저항성이 감소할 수 있고, 분기점과 그 이후의 약간의 시기까지 낮게 유지될 것이다. 예를 들면, 시스템 스스로가 자신을 개선해나가기 전까지는 이 시스템에 가해지는 최적화 능력은 거의 일정한 값을 가진다고 가정하고(즉 D(project) + D(world) ≒ c) 또한 18개월마다 시스템의 능력이 2배씩 증가한다고 가정해보자(소프트웨어의 발전에 연계된 반도체 기술의 발전율과 무어의 법칙에서 제시된 결과는 대략 일치한다). 만약 최적화 능력이 비교적 일정한 값이 되면, 증가율은 시스템 능력의 역수인 저항성이 감소하는 방향으로 나타나게 된다.

지능의 변화율(dI/dt) = c / (1/I) = cI

만약 저항성이 계속 쌍곡선 함수 형태로 감소한다면, 인공지능이 분기점에 이를 때에는 인공지능의 개선을 위해서 투입되는 최적화 능력의 총량은 2배로 늘어난다. 따라서 다음과 같은 관계가 된다.

지능의 변화율(dI/dt) = (c + I) / (1/I) = (c + I)I

분기점이 지난 후, 다시 능력이 2배로 증가하게 되는 기간은 7.5개월이 걸린다. 그리고 17.9개월 안에 시스템의 능력은 1000배 증가하고, 따라서 속도적 초지능에 도달한다. 이 독특한 성장 궤적은 t = 18개월 지점에서 양의 특이점을 가진다. 실제로는 시스템이 정보 처리의 물리적 한계에 가까이 다가가면서 저항성이 일정하다는 가정이 깨지게 되는 것을 의미한다.

...

...

위의 두 가지 상황은 오직 현재 다루고 있는 주제를 예시하기 위해서 제시된 것이고, 저항성 곡선의 모양에 따라 다양한 방식의 궤적이 나올 수 있다. 여기서 주장하려는 것은, 분기점 부근에서의 강력한 피드백 회로 때문에 생각보다 더 빠르게 도약이 일어난다는 것이다.

[라이따잇(qwer1030123)]

[익명(bluewarp)]

[부패하는유전자!!!(sansss2015)]

[포스트휴먼.(ysoo75430)]

[부패하는유전자!!!(sansss2015)]

알트만은 느린도약이 사회를 위한 것이라고 생각하던데

[익명(211.60)]

그래서 보스트롬은 AGI랑 ASI 언제로 예측하고 있음? 책에서.

[익명(hangulnick0)]

그냥 여론조사 내용만 언급하는 듯? AGI 예측 중간값이 2040년대라고 나오는데 지금은 더 앞당겨졌을 거 같네

[익명(rty1x21s8nhq)]

너무 어려워. 3줄 요약 해"줘"

[익명(rty1x21s8nhq)]

[슈퍼130클럽(y3xxqs89b55t)]

[익명(hangulnick0)]

인공지능 초기에는 주로 외부의 노력(사람)으로 능력이 증가하지만, 임계점을 지나면 시스템 그 자체가 생성한 능력이 외부의 노력을 압도하기 시작하게 되고 폭발적인 도약이 일어난다는 듯? 그리고 인간 수준의 능력에 가까워질 수록 저항성이 크게 감소될 수 있다고 함

[익명(rty1x21s8nhq)]

체고야..ㅠㅠㅠㅠㅠㅠㅠ

[익명(182.209)]

너무 길어서 다 읽진 못했는데 그래서 이 사람은 중간하고 빠름중 어디임?

[스피(huh44243)]

빠름 - dc App

[익명(jdcz9n8kdvtv)]

[익명(219.249)]

저항성이 상수거나 감소한다는 원리를 잘 이해못하겠음 - dc App

[익명(nj1000)]

수확가속의 법칙을 생각하면 됨 ai로 발전된 컴퓨팅 기술을 적용해서 저항성을 줄이는거지