[📪정보] 번역) 더글러스 호프스태터 인터뷰 내용

[익명(hangulnick0)]

Q: ..."괴델, 에셔, 바흐"의 어떤 아이디어가 오늘날 가장 관련성이 있나요?

더글러스 호프스태터: ...제 책 『나는 이상한 루프다』에서 저는 자아 또는 영혼을 실제로 만드는 것이 무엇인지 설명하려고 노력했습니다. 저는 "영혼"이라는 단어를 종,교적 의미가 아니라 "나", 인간 "나", 대문자 "I"의 동의어로 사용하는 것을 좋아합니다. 그렇다면 인간이 "나"라고 정당하게 말할 수 있게 하는 것은 무엇일까요? 그 단어의 사용을 정당화하는 것은 무엇일까요? 컴퓨터가 "나"라고 말할 때 우리는 그 뒤에 진짜 "나"가 있다고 느낄 수 있는 경우는 언제일까요?

약국에 전화를 걸었을 때 챗봇이나 뭐라고 부르든 간에 그게 전화로 "무엇을 원하시나요? 먼저 몇 마디로 무엇을 원하는지 말해주세요. 전 완전한 문장도 이해할 수 있어요."라고 말하는 그런 상황이 아니에요. 만약 당신이 뭔가 말하면 "처방전을 리필하시겠습니까?"라고 묻습니다. 그래서 "예"라고 대답하면 "알겠습니다."라고 말합니다. 마치 '나'가 있는 것처럼 행동하지만, 진짜로 '나'가 있다는 느낌이 전혀 들지 않습니다. 저에게는 '나'라는 느낌이 들지 않고 매우 기계적인 과정처럼 느껴집니다.

하지만 ChatGPT-3나 GPT-4와 같이 발전된 모델의 경우에는 "나"라는 단어를 붙일 만한 가치가 있는 무언가가 더 있는 것처럼 느껴집니다. 문제는 언제쯤 이런 것들이 실제로 완전한, 혹은 적어도 부분적으로나마 '나'라고 생각할 만한 가치가 있다고 느낄 수 있을까 하는 것입니다.

저는 개인적으로 이런 일이 지금 일어나고 있다고 걱정합니다. 하지만 이런 일은 지금만 일어나는 것이 아닙니다. 지금 일어나고 있는 어떤 일들이 인간의 의식이나 인간 자아와 비슷하다는 것만이 아닙니다. 그들은 또한 매우 다르며 어떤면에서는 매우 무섭습니다. 그들은 놀랍도록 훨씬 더 지식이 풍부하고 놀랍도록 훨씬 더 빠릅니다. 그래서 제가 어떤 일을 하는 데 한 시간이 걸렸다면 ChatGPT-4는 똑같은 일을 하는 데 1초, 아니 1초도 걸리지 않을 수도 있습니다.

이는 곧 이러한 개체에 대해 어떻게 생각하든, 지금은 아직 실수가 너무 많아서 우리보다 더 지능적이라고 할 수 없지만 곧 우리보다 더 지능적이고 우리보다 훨씬 더 지능적일 수 있다는 것을 시사합니다. 그리고 그 시점이 되면 우리는 어떤 의미에서 뒤로 물러나게 될 것입니다. 좋든 나쁘든 우리는 후임자에게 바통을 넘겨주게 될 것입니다.

이런 일이 수백 년처럼 오랜 기간에 걸쳐 일어난다면 괜찮을 수도 있다는 것을 이해할 수 있습니다. 하지만 몇 년 사이에 이런 일이 일어나고 있습니다. 마치 전례 없는 상상할 수 없는 속도로 우리를 휩쓸고 있는 해일과도 같습니다. 제가 생각하기에는 그동안 사실이라고 믿었던 모든 것이 뒤집어지고 있다는 것을 의미하기 때문에 상당히 두려운 일입니다.

Q: 구체적으로 어떤 것들이 당신을 두렵게 하나요? 정말 무서운 문제는 무엇인가요?

호프스태터: 제가 인지 과학을 공부하고 마음과 계산에 대해 생각하기 시작했을 때는 1960년경으로, 컴퓨터가 어떻게 작동하는지 잘 알고 있었고 컴퓨터가 얼마나 엄격하게 작동하는지 잘 알고 있었습니다. 아주 작은 타이핑 오류만 있어도 프로그램이 완전히 망가질 수 있었죠. 디버깅은 매우 어려운 기술이었으며 버그를 제거하기 위해 프로그램을 여러 번 실행해야 할 수도 있었습니다. 그리고 프로그램이 실행되면 매우 경직되어 원하는 작업을 정확히 수행하지 못할 수도 있고, 원하는 작업을 정확하게 알려주지 않았기 때문에 프로그램을 변경해야 하는 등의 일이 반복되었습니다.

컴퓨터는 매우 경직되어 있었고 저는 컴퓨터가 할 수 있는 것과 할 수 없는 것에 대해 어떤 느낌을 가지고 자랐습니다. 인공 지능에 대해 들었을 때 저는 경직된 시스템을 유동적으로 작동하게 만드는 매우 흥미로운 목표라고 생각했습니다. 하지만 제게는 아주 멀고 먼 목표였습니다. 한없이 멀게만 느껴졌죠. 마치 인공지능은 매우 경직된 시스템을 마치 유동적인 것처럼 작동하도록 만드는 기술인 것처럼 느껴졌습니다. 그리고 엄청난 시간이 걸릴 것 같았습니다. 인간의 마음과 같은 수준에 점근적으로 접근하기까지는 수백 년이 걸릴 것이라고 생각했습니다.

컴퓨터가 인간의 지능을 능가하는 것은 고사하고 경쟁할 것이라고는 상상도 못했습니다. 사실 원칙적으로는 컴퓨터가 인간 지능에 필적할 수 있다고 생각했습니다. 못 할 이유가 없다고 생각했죠. 하지만 너무 먼 목표인 것 같아서 걱정하지 않았습니다. 하지만 20년 전쯤 특정 시스템이 등장하기 시작했을 때 저는 잠시 멈칫했습니다. 그리고 도달할 수 없는 목표와 컴퓨터가 해서는 안 되는 일들이 점점 더 빠른 속도로 일어나기 시작했습니다. 게리 카스파로프가 딥 블루에게 패배한 후 바둑 시스템, 바둑 프로그램, 세계 최고의 바둑 기사들을 이길 수 있는 시스템으로 이어졌습니다. 그 후 시스템은 언어 간 번역이 점점 더 좋아졌고, 자연어로 어려운 질문에 대해 이해할 수 있는 답변을 생성하고 심지어 시를 쓰는 데까지 발전했습니다.

그리고 저의 모든 지적 구조와 신념 체계가... 세상에 대한 가장 핵심적인 믿음이 무너지기 시작하는 것은 매우 충격적인 경험입니다. 특히 인간이 곧 사라질 것이라고 생각할 때 더욱 그렇습니다. 제 신념 체계가 무너지는 것뿐만 아니라 인류 전체가 곧 일식에 가려져 먼지 속에 사라질 것만 같은 느낌이 들었습니다. 사람들은 저에게 "'곧'이라는 게 무슨 뜻이냐?"고 묻습니다. 저도 무슨 뜻인지 모르겠어요. 저도 알 길이 없죠. 하지만 제 마음 한구석에서는 5년이라고도 하고, 20년이라고도 하고, "모르겠어, 전혀 감이 오지 않아"라고도 하죠. 그러나 그 진전, 그 가속화는 너무나 예상치 못한 것이어서 저뿐만 아니라 많은 사람들의 허를 찔렀고, 다가오는 쓰나미가 모든 인류를 놀라게 할 것입니다.

그것이 우리가 만든 시스템이 우리를 파괴하는 의미에서 인류의 종말을 의미할지는 분명하지 않습니다. 그럴지도 모르겠지만, 분명한 것은 그것이 인류를 훨씬 더 지적이고 이해할 수 없을 정도로 된 무언가에 비해 아주 작은 현상으로 만들어 버릴 것이라는 것입니다. 바퀴벌레에게 우리가 그런 것처럼, 우리도 그것을 이해할 수 없게 될 것입니다.

Q: 흥미로운 생각이네요. [긴장된 웃음]

호프스태터: 글쎄요, 저는 흥미롭지 않다고 생각해요. 무섭다고 생각해요. 정말 싫어요. 거의 매일 매일 그 생각을 해요. [Q: 와우.] 그리고 그것은 저를 압도하고 오랫동안 우울하지 않았던 방식으로 저를 우울하게 만듭니다.

Q: 와우, 정말 강렬하네요. 독특한 관점을 가지고 계시니 그런 감정을 느낀다는 것은 매우 강력한 힘이 되죠.

Q: 대규모 언어 모델인 LLM이 인간의 사고와 창의성에 대한 견해에 어떤 영향을 미쳤나요?

호프스태터: 물론, 이것은 인간의 창의성 등이 뇌 하드웨어에서 나온다는 생각을 강화합니다. 뇌 하드웨어, 즉 신경망 외에 다른 것은 없습니다. 하지만 저를 완전히 놀라게 한 한 가지는 이런 대형 언어 모델(LLM)과 이와 같은 다른 시스템들이 모두 피드포워드 방식이라는 점입니다. 뉴런의 발화가 한 방향으로만 이루어지는 것 같아요. 나는 한 방향으로만 뉴런이 발화하는 네트워크에서 깊은 사고가 나올 수 있을 거라고는 상상도 못 했습니다. 그것은 제게 이해가 되지 않지만, 그저 내가 순진하다는 것을 보여주죠.

또한 "괴델, 에셔, 바흐"를 연구하고 『나는 이상한 루프다』를 집필할 때 상상했던 것처럼 인간의 마음이 신비롭고 복잡하고 알기 어려운 것이 아닐지도 모른다는 생각을 들게 합니다. 몇 년 전에는, 나는 우리가 어떤 계산 가능한 것에 다다를 수 있는 것은 아주 먼 미래일 것이라고 생각했습니다. 더 유동적으로 변하고 있긴 했지만, 아주 짧은 시간 내에 일어날 것이라고는 생각하지 않았어요.

그래서 위축된 기분이 들었습니다. 어떤 의미에서는, 나보다 수백만 배나 수십억 배 더 많은 지식을 가지고 수십억 배 더 빠른 이러한 계산 시스템과 비교하면 스스로가 매우 불완전하고 결함이 있는 구조라고 느끼게 됩니다. 나는 극도로 열등해지죠. 그래서 사라져야 마땅하다고 할 순 없지만, 거의 그런 느낌입니다. 우리 인간 모두가, 우리도 모르는 사이에 곧 사라질지도 모르고, 그게 옳을지도 모릅니다. 왜냐하면 우리는 너무나 불완전하고 실수가 많기 때문입니다. 우리는 계속해서 무언가를 잊어버리고, 헷갈리고, 자신을 모순시켜요. 아마도 이것이 우리가 얼마나 제한적인지를 보여주는 것일지도 모릅니다.

Q: 와우. 그럼 질문을 계속 이어가 보겠습니다. 인류 역사에서 많은 똑똑한 사람들을 공포에 떨게 했던 비슷한 일이 있었던 때가 있었나요?

호프스태터: 불이요.

Q: 망설이지도 않으셨죠? 그럼 거기서 무엇을 배울 수 있을까요?

호프스태터: 모르겠어요. 조심스럽지만, 우리가 이미 너무 멀리 간 것 같아요. 우리가 이미 숲에 불을 질렀을 수도 있어요. 제 생각에는 이미 그렇게 한 것 같아요. 되돌릴 방법이 없는 것 같아요.

이러한 모든 시스템을 개발하는 데 가장 핵심적인 역할을 했던 제프리 힌튼의 인터뷰를 보았을 때, 그가 한 말이 인상적이었습니다. 그는 자신의 평생의 일을 후회할지도 모른다고 말했습니다. 그는 "제 인생의 모든 일을 후회하고 있습니다."라고 말했습니다. 그러자 사회자는 그에게 이러한 개발이 얼마나 중요한지 물었습니다. "산업 혁명만큼 중요한가요? 역사상 사람들을 공포에 떨게 했던 비슷한 사건이 있었나요?" 힌튼은 잠시 생각한 후 "글쎄요, 바퀴만큼 중요할 수도 있죠"라고 대답했습니다.

AGI를 불의 발견에 비유하네

[부패하는유전자!!!(sansss2015)]

불의 발견 -> 구워먹음 -> 턱 근육 퇴화 -> 뇌의 발달(지능폭발)

[부패하는유전자!!!(sansss2015)]

특이점이 온다.....

[익명(landofooo)]

오

[익명(babilos)]

턱 퇴화가 뇌발달이랑 연결됨??? 오히려 저작하면 뇌가 자극된다고 본 기억이 나는데

[익명(39.123)]

정확히는 턱이아니라 소화기관이 영향이있음. 구워먹으니까 소화에 필요한 에너지가 덜들었고 그걸 뇌에서 사용할수있게됨

[MoonChild(aowlr2001)]

[익명(landofooo)]

근데 진짜 불의 발견에 필적할만함

[익명(vz4yn9)]

인류가 훨씬 더 지적이고 이해할 수 없을 정도로 된 초지능에 비해 아주 작은 존재가 되고 이게 이미 되돌릴 수 없는 상황이 되어서 존재가치가 사라진 자신들의 운명을 전적으로 이해할수도 없는 초지능에게 맡기게 된다는게.. 굉장히 무섭네

[익명(211.178)]

BCI 필수

[ㅇㅇ¹(z8kveppbtwsn)]

[익명(61.255)]

이걸 다 번역했네 굿