이 글은 선형 관점을 보여주고 이에 대해 반론하는 글로써 특이점을 부정하는 글이 아님을 미리 알림.



짤은 ILSVRC의 우승작들의 에러율임.

보면 해가 거듭해갈수록 에러율이 낮아지고 있다는 것을 볼 수가 있음.

보면 계속해서 발전하는 인공지능의 능력을 체감할 수 있는데 이 짤에는 한 가지 속임수가 있음.

바로 계산 비용이 고려되지 않았다는 것.


해당 짤은 iEEE 스펙트럼에 실린 "DEEP LEARNING’S DIMINISHING RETURNS"에서 주워온 짤임.

해당년도 상용화된 AI의 에러율과 그에 따른 계산 비용임.

여기서 주목해야 할 부분은 에러율이 a만큼 감소하면 계산 비용은 10^a가 된다는 부분임.


이걸 말하면서 해당 글은

"하드웨어의 폭발적 발전이 없는 이상 계산 비용은 계속 늘어날 것이며 앞으로 인공지능의 발전 속도는 더욱이 느려질 것이다." 라고 말하고 있음.


선형 관점에서 본다면 이게 맞음. 하지만 내가 하고 싶은 말은 이게 아님.

사람들이 과거의 있었던 기술적 특이점에 대해서 가장 대표적으로 생각하는 부분이 바로 18세기 19세기에 있었던 산업혁명임.

하지만 이번엔 산업혁명 이전. 그 배경이 되었던 17세기 말에 보급된 "4윤작법"이라는 농업 기술과 관해서 말해봄.

과거 이야기 재미없는 사람은 밑으로 내려서 요약 보면 댐.


4세기부터 17세기까지 유럽은 농업을 하는데 있어 한 땅에 휴식기를 주는 "휴경"이라는 걸 해왔음.

8세기 까지 1/2을 휴경했고 8세기 말이 되어서 1/3을 휴경하는 삼포제로 발전했음.

삼포제까지 오면서 선형적으로 증가하던 농업생산량은 점점 증가율이 낮아지고 있었음.

왜냐면 "토지"이라는 하드웨어가 "농업"이라는 소프트웨어를 따라가지 못하고 있었기 때문임.

이렇게 한계에 부딪힐 때 16세기 말에 "4윤작법"이라는 농업 기술이 발명 됨.

4윤작법은 휴경지가 따로 없는 농업법으로 이는 "농업 기술의 발전"이라는 기술적 발전으로 "토지"이라는 하드웨어의 한계를 뛰어넘었다는 뜻임.

이후 비료와 퇴비의 발전으로 또 한번 농업 생산량은 말도 안되게 증가함.

이게 되게 지금 상황과 비슷함. 그리고 역사 동안 이와 같은 사건이 일어난 적이 한두번이 아님.


요약

ai의 상황을 보면 인공지능의 계산 비용 때문에 발전 속도가 점점 느려짐.

하지만 앞선 역사에서 보듯이 발전 속도가 느려질수록 한계를 뛰어넘는 발견, 발명이 일어날 확률이 높음.

즉. 기술적 특이점이 발현될 가능성이 높음.

우리는 이와 비슷한 것을 지난 역사 동안 수없이 경험해봤고 앞으로 어떻게 될지도 알고 있음.

난 개인적으로 지금 기술의 발전이 점점 느려지는 게 오히려 청신호라고 생각함.