7fed877fbded6cf637ee818a47837673fdb6d50ef17ba26f3cad4352ade54a

백형렬 카이스트 수리과학부 교수가 윌리엄 서스턴(1946~2012)의 마지막 제자라는 얘기를 들었다.

서스턴은 천재수학자로 위상수학 분야에서 큰 발자국을 남겼다. 천재의 제자는 스승 못지않게 훌륭한 학자일 거라고 생각하면서 지난 5월 9일 카이스트로 백형렬 교수를 찾아갔다. 백 교수는 ‘당신은 어떤 수학자인가’라는 질문에 “좀 오만하다고 할지 모르겠지만 수학자라고 그냥 표현하고 싶다”라고 말했다. “물론 좁혀서 얘기하면 저차원 위상수학자다. 하지만 위상수학을 하기 위해 공부하는, 쓰는 방법론이 다양하다. 확률적인 방법론도 쓰고, 조합론적인 방법도 사용한다. 그때그때 다양하다. 그러니 그냥 수학을 한다고 말하겠다.”


백 교수를 만나러 가면서 책 한 권을 들고 가 열차 속에서 다시 읽었다. ‘100년의 난제: 푸앵카레 추측은 어떻게 풀렸을까’라는 제목으로 청소년을 겨냥한 책이다. 이 책 속에 백 교수의 미국 코넬대학교 수학과 지도교수였던 윌리엄 서스턴 이야기가 나온다. 책 저자는 윌리엄 서스턴의 업적을 다음과 같이 전한다. “1983년 필즈상 수상식 자리에서 서스턴 박사는 ‘3차원 공간 연구를 수학의 주류로 되돌렸다’는 절찬을 받았다.”


서스턴은 필즈상 수상자들도 추앙하는 천재
서스턴은 어떤 사람이길래 ‘천재’라는 찬사를 받는 것일까? 백 교수는 “보통의 수학자들이 필즈상 수상자를 바라보는 시선으로, 필즈상 수상자들이 서스턴 교수님을 바라봤다”라고 말했다. 수학의 노벨상이라는 필즈상 수상자들이 서스턴을 반열이 다른 사람으로 추앙한다는 뜻이다. 서스턴이 수학 커뮤니티에서 어느 정도 위상을 가졌는지 가늠이 된다.백형렬 교수는 2009년 코넬대에 유학 가서 서스턴 교수로부터 논문 지도를 받았다.

백 교수는 서울과학고를 졸업하고 카이스트에 03학번으로 들어갔다. 2학년 때 그의 전공은 물리학과였다. 학업을 마치면 경영 컨설팅 회사에 취업하려고 했다. 하지만 결국 공부 쪽으로 진로를 바꿨고 전공도 수학으로 바꿨다. “물리학과 수학, 두 분야가 다 좋았다. 자연을 직관적으로 이해하는 물리학도 좋지만, 논리의 완벽성을 주고 엄밀하게 증명하는 수학이 적성에 더 맞는다고 생각했다.

”미국 유학을 가면서 미국 대학 몇 곳에 합격을 했는데 합격통보를 해온 학교 중 코넬대를 선택했다. 카이스트 은사인 최서영 교수와 서울대 임선희 교수가 학교를 정하는 데 도움을 줬다. 백 교수는 카이스트에서 위상수학을 가르치던 최 교수로부터 위상수학을 배웠다. 그런데 최 교수가 바로 서스턴 교수의 제자였다. 최 교수는 코넬대학교로 가는 제자 백형렬 학생에게 “앞으로는 응용수학 쪽이 좀 더 주목받을 것”이라고 했다.

코넬에 응용수학자가 많은데 존 허바드가 기하학의 응용에도 관심이 있는 것 같으니 그로부터 배우는 것도 좋아 보인다고 조언해줬다. 존 허바드 교수는 수학의 카오스이론에 나오는 ‘망델브로 집합(Mandelbrot set)’이라는 프랙탈(fractal) 구조의 이름을 지은 학자. 작은 구조가 전체 구조와 비슷한 형태로 끝없이 되풀이되는 것이 프랙탈 구조다.

현재 서울대에 있는 임선희 교수는 당시 코넬대에서 박사후연구원으로 있었다. 임 교수는 백 교수의 서울과학고 9년 선배. 백 교수는 당시 임선희 박사후연구원에게 이메일을 보내 코넬대 수학과 사정을 물은 후 리처드 듀렛으로부터 확률론을 배워야겠다고 생각했다.그가 뉴욕주 이타카에 있는 코넬대에 도착한 건 2009년 8월. 이타카에 가보니 지도를 받아야겠다고 생각했던 교수가 다른 학교으로 떠나고 없었다. 그래서 최서영 교수가 말해줬던 허바드 교수를 찾아갔지만 그의 연구실도 닫혀 있었고 이메일을 보냈으나 답이 없었다. 나중에 알고 보니 그는 이메일에 답을 하지 않는 사람이었다.

그러던 중 어느 날 용기를 내어 윌리엄 서스턴 교수의 연구실을 찾았다. 수학과가 들어있는 맬럿홀(Malott Hall) 4층 연구실을 찾아가 “수학 얘기를 하고 싶어 찾아왔다”라고 말했다. 다행히 서스턴 교수는 그와 이야기하는 걸 좋아했고 지도하는 대학원생도 없었다.

프린스턴대학교에서 오래 가르쳤던 서스턴은 코넬대로 옮긴 후 재혼을 했는데 당시 두 번째 결혼에서 낳은 아이들이 어렸다. 아이들과 놀아주느라 바빠서인지 그는 강의는 하지 않고 매 학기 세미나만 했다. 워낙 명성이 있어 학생들이 그 밑에서 배우길 부담스러워한다고 대학원 선배들이 말했다. 그로부터 수학을 배우는 건 좋으나, 지도교수로는 삼지 말라는 충고도 들었다.

서스턴의 제자가 되기까지백형렬 박사과정 학생은 일주일에 두세 번씩 서스턴 교수를 찾아갔다. 세 번째 찾아갔을 때인가, 서스턴 교수가 백형렬 학생에게 물었다. “자넨 몇 학년인가?” 그 말을 듣고 백형렬 학생은 ‘내가 수학을 아는 게 없어 교수님이 물어본 질문일 것’이라는 식으로 생각했다. 그는 물리학과를 다니다가 수학으로 선회했기에 수학 배경이 좀 약하기는 했다.

서스턴 교수와 계속 만나 수학 얘기를 하다가 2학년이 끝나갈 때 A시험이 다가왔다. A시험은 코넬대학교의 제도로, 학위연구 주제를 정하고 앞으로 무슨 연구를 하겠다는 걸 수학과 교수들 앞에서 발표하는 자리. A시험을 보려면 지도교수를 정해야 한다. 그는 발표 자료를 준비하면서 투명필름(OHP) 수십 장에 도형들을 그리고 ‘지도교수 서스턴’이라고 써서 들고 갔다.

그랬더니 서스턴 교수가 “요즘 OHP에 써서 발표하는 사람은 그로모프(러시아 수학자·아벨상 수상자) 말고는 처음 본다”라고 말했다. 특히 서스턴 교수는 ‘심사결과 보고서’에 본인 이름만 적혀 있고 백형렬 학생의 이름은 빠진 걸 보고 “너, 내 이름 들어간 자료 만들어서 이베이(인터넷상거래 사이트)에 팔아먹으려고 하는 것 아냐”라고 농을 했다. 이래서 서스턴 교수가 공식적으로 백형렬 학생의 지도교수가 되었다.

서스턴 교수는 수학의 다양한 분야에 기여했지만 특히 저차원 위상수학의 선구자라는 평가를 받는다. 백형렬 박사과정 학생도 저차원 위상수학을 연구하게 되었다. 서스턴 교수는 모형을 만들어 보는 걸 좋아했다. 곡률이 큰 기하학적 구조를 만들려면 특별한 조각들이 필요한데 서스턴 교수는 그런 걸 직접 만들기를 즐겼다. 백 교수는 “교수님 연구실은 뭐가 꽉 차 있어서 사람이 앉을 데가 없었다. 종이접기 학원 같았다”라며 서스턴 교수를 ‘맥시멀리스트(maximalist)’라고 표현했다.

맥시멀리스트는 생활을 극히 간소하게 하는 미니멀리스트의 반대말이다.백 교수는 무슨 연구를 했을까? 백 교수가 엽층(foliation)구조, 기본군(fundamental group), 3차원 기본군, 불변 라미네이션(invariant lamination)이라는 용어를 동원해 자신의 박사과정 때 연구를 설명해줬다. 한꺼번에 낯선 용어들을 들으니, 생각이 정리가 안 되었다. 백 교수가 당시 가졌던 수학적 질문을 그의 말 그대로 옮기면 이렇다. “3차원 기본군이 원(circle)에 어떤 동역학적인 작용을 해서 불변 라미네이션을 가지면, 3차원 공간 속에 좋은 엽층 구조를 갖는가?”

수학 용어 하나하나의 뜻을 백 교수에게 물었다. 우선 엽층구조는 나뭇잎이 나뭇가지에 붙어 있는 패턴을 가리킨다. 엇갈리게 가지에 붙어 있는 경우도 있고, 가지의 한 지점에서 여러 개의 잎이 뻗어나간 구조도 있다. 지층이 암석 단층이 쌓여 있는 단면을 가리킨다면, 수학자는 공간이 쌓여 있는 구조를 표현하기 위해 ‘엽층구조’라는 말을 쓴다. 3차원 공간은 2차원 공간이 쌓여 있는 엽층구조이고, 2차원 공간은 1차원 공간이 쌓여 있는 엽층구조다.그다음 ‘기본군’은 어떤 위상 공간을 대수로 표현한 구조를 말한다. 위상 공간 속에 폐곡선(closed curve)들, 예를 들면 고리(loop)들의 집합이 있으면 그것에 군(group)의 구조를 부여한 것이다. 백 교수는 “공간이 주어졌을 때 그 공간의 위상적인 형태를 표현하는 게 군이고, 그중에서도 가장 기본적인 게 기본군”이라고 말했다.

기본군을 이루는 원소들은 위상 공간에 살고 있는 1차원 물체인 고리들이다. 즉 기본군은 고리들로 구성된다. 위상수학자는 고리를 갖고 덧셈, 뺄셈과 같은 연산을 생각한다. 공간에 있는 고리의 경우에도 고리를 더하거나 빼는 연산을 해서 새로운 고리를 만들 수 있다. ‘기본군’이 그렇다면 ‘3차원 기본군’은 또 뭘까? 3차원 기본군은 3차원 위상 공간을 대수로 표현한 군의 구조를 말한다.이제 ‘불변 라미네이션’이 무엇인지 알아보자. ‘불변 라미네이션’은 ‘불변량’ 중의 하나다. 불변량은 분류하고 싶은 수학적인 대상이 있을 때, 그걸 분류할 수 있는 도구가 된다. 위상수학에서 가장 알려진 불변량은 구멍 수(genus)다. 구멍 수가 다르면 위상이 다르다. 2차원 곡면에서는 구멍 수만 알아도 기본군을 알 수 있으니, 구멍 수가 기본군과 같은 역할을 한다.

'라미네이션’은 또 무엇일까? 위상수학적 대상이 온몸에 엽층구조 무늬를 갖고 있을 수도 있는데, 온몸이 아니라 대상의 일부분만 엽층구조인 경우가 있다. 이런 걸 라미네이션이라고 한다. 백 교수에 따르면 공간 전체를 특이점이 없이 엽층구조로 항상 채울 수 있는 건 아니다. 엽층구조로 채우다가 남는 점들이 있을 수 있다. 이 점을 특이점이라고 한다. 하지만 라미네이션 구조에서는 특이점을 남기지 않고 그릴 수 있다.

<그림 참조>백 교수의 연구를 이해하려면 ‘쌍곡 평면’이라는 수학적 대상도 이해해야 한다. 쌍곡 평면은 곡률이 0보다 작은 평면을 말한다. 곡률이 0이면 평면이고, 0보다 작으면 음의 곡률이라고 한다. 안장 구조가 대표적인 음의 곡률을 갖는 공간이다. 0보다 곡률이 크면 양의 곡률이라고 하고, 구의 겉면이 양의 곡률을 갖는다.쌍곡평면을 2차원에 표현하면 평면상에 원으로 둘러싸인 모양으로 그리곤 한다. 사실 이때의 원은 쌍곡평면의 일부는 아니고 무한히 멀리 있는 경계선이다.

쌍곡평면상에서 직선을 하나 그리면 이 원 모양 경계의 두 점을 연결하는 선이 된다. 이렇게 쌍곡평면의 직선이 연결하는 원상의 두 점들을 모아놓은 것을 원의 라미네이션이라고 한다.<그림 참조> 그러니 라미네이션은 원 위에 있는 두 점들의 모임으로 해석할 수 있다. 연구 토픽도 스스로 찾게 만들어백형렬 교수는 “나는 원상의 불변 라미네이션을 갖는 군들의 이론을 시작했다. 원상의 라미네이션 이론을 개척했다”라고 말했다. 그의 연구를 더 이상 지면에서 설명하는 건 쉽지 않다. 그의 연구를 정확히 말하려면 ‘사상류’라는 개념도 소개해야 하나 여기에서 멈추기로 한다.

백 교수가 박사과정 때 연구한 주제는 자신이 찾아낸 것이다. 코넬대 지도교수였던 서스턴 박사는 어떤 연구를 해봐라 하는 식으로 제자를 훈련시키기 않았다고 한다. 서스턴 교수는 연구 토픽을 찾느라 고민하는 제자에게 “대학원 오래 다녀도 괜찮아”라고 말했다. 백 교수는 자신의 토픽을 결국 혼자서 찾아냈다. 서스턴의 옛 제자 대니 칼레가리(Danny Calegari) 시카고대 교수의 책을 보고 공부하다가 떠올렸는데, 문제를 들고 가니 ‘해보라’고만 했고, 어떤 식으로 풀어보라 하는 얘기도 하지 않았다. 그런 지도교수가 한번은 다른 모습을 보였다.

다른 교수의 지도를 받는 대학원생이 서스턴 교수를 찾아왔을 때다. 그 학생이 서스턴 교수에게 자신의 연구를 얘기하니 서스턴은 “이 문제는 이런 식으로 풀면 되겠다”라고 길을 가르쳐 주는 것이었다. 자기 제자에게는 갈 길을 얘기하지 않은 사람이, 다른 교수의 제자에게는 바로 길을 보여주는 모습이 낯설었다. 서스턴은 ‘문제를 혼자 찾고, 해법도 찾아가는 과정에서 배우는 게 중요하다. 되든 안 되든 생각하는 게 중요하다’는 메시지를 자신의 제자에게 던지고 있었다.서스턴은 심지어 제자의 연구 주제에 대해서는 생각도 하지 않았다. 생각하면 자신이 길을 발견할 수 있기에, 그걸 피하기 위해 억지로 제자의 연구 주제를 생각하지 않았다고 한다. 그 덕분에 백형렬 학생은 혼자 힘으로 문제를 풀어 결국 거의 다 풀었다. 그런데 논문화 작업을 하지 못했을 때 서스턴 교수가 죽었다. 건강했는데 갑자기 발견된 피부암이 손 쓸 새 없이 악화돼 2012년 여름에 사망했다.

백형렬 학생은 이후 캘리포니아대학교 데이비스 캠퍼스로 가서 1년을 보냈다. 서스턴 교수가 첫 번째 결혼에서 낳은 아들인 딜런 서스턴 박사가 인디애나대학교(블루밍턴 소재) 수학과 교수로 있었는데 마침 그가 캘리포니아대학교 버클리캠퍼스에 있는 수학연구소(MSRI)에 와서 한 학기를 연구했다. 버클리와 데이비스는 가깝다. 그래서 백형렬 학생은 매주 버클리를 찾아 딜런 서스턴 교수와 연구 얘기를 했다. 데이비스 체류가 끝나자 그는 다시 뉴욕주 이타카의 코넬대학교로 돌아갔다. 이때 존 허바드 교수를 두 번째 지도교수로 삼아 1년 후 박사학위를 받았다. 2014년 8월이었다. 그래서 백형렬 교수는 수학자 족보 사이트에 지도교수가 세 명으로 되어 있다. 윌리엄 서스턴, 딜런 서스턴, 존 허바드. 백 교수는 “서스턴 교수가 돌아가시면서 절망스러운 장면이 많았지만, 혼자 빨리 설 수 있는 계기가 됐다”라고 당시를 돌아봤다.

박사후연구원은 독일 본대학으로 떠났다. 우르술라 하멘슈타트(Ursula Hamenstaedt)라는 저차원 위상수학, 기하위상수학 연구자 연구실로 갔다. 기하위상수학 연구자는 위상 구조를 본다는 점에서는 같으나, 그 뒤에 숨어 있는 기하 구조에 관심이 많다. 백형렬 교수는 본의 하멘슈타트 연구실에서 좋은 동료를 많이 만났다. 지금은 옥스퍼드대학교에 있는 다비드 키엘락(Dawid Kielak), 뮌헨대학의 제바스티안 헨첼(Sebastian Henzel) 박사 등이 그들 중 일부다. 이스라엘 테크니온공대나 파리에 자리 잡은 사람도 있다. 잘하는 박사후연구원이 많다는 건 연구책임자(PI) 하멘슈타트 교수가 잘하는 수학자라는 증표다. 이들과 지금도 연락하고 공동연구를 한다.

본에 간 뒤 1년 반이 지났을 때 모교인 카이스트에서 연락을 받았다. 1년 더 있다가 2017년 2월에 귀국했다. 카이스트 수리과학과에는 현재 위상수학자가 3명 있다. 백형렬 교수는 “전에는 5명이 있었다. 위상수학자를 좀 더 뽑아줘야 한다”라고 말했다. 학생들에게 더 좋은 위상수학 교육을 하기 위해 필요하다고 했다.

“남들이 안 해본 연구만 해왔다”
카이스트에 와서 추가로 하는 연구는 곡선그래프다. 앞에서 말한 쌍곡평면 이야기를 백 교수가 다시 꺼냈다. 2차원 곡면에 고리, 즉 루프를 그린다. 루프 하나가 꼭짓점이 된다. 루프 2개가 서로 안 만나면 두 꼭짓점을 변으로 잇자. 그러면 이들 사이의 관계를 보여주는 그래프가 된다. 곡선그래프다. 곡선그래프상에서 꼭짓점을 얼마나 멀리 이동시키느냐 하는 문제를 백 교수는 연구하고 있다. 어떤 함수의 사상(mapping)은 멀리 보내고, 어떤 건 조금 보내고 하는 연구를 지난 2~3년간 논문으로 썼다.

이 연구가 어떤 의미가 있는지를 물었다. 백 교수는 끈적끈적한 액체, 즉 점성이 있는 액체를 막대로 휘젓는 경우를 생각해 보자고 했다. 살살 휘젓기 시작해서 더 많이 휘저으면 액체들이 갑자기 잘 섞이는 임계점이 있다. 얼마만큼 힘을 줘야 어느 순간부터 갑자기 잘 섞이는지가 궁금하다. 이 경우 곡선그래프 연구를 적용하면 임계점을 알아낼 수 있을 거라고 했다.

이 연구(논문 제목 ‘Minimal asymptotic translation lengths of Torelli groups and pure braid groups on the curve graph’)는 2019년 학술지 IMRN에 게재됐다.백형렬 교수는 “나는 남들이 안 해본 연구를 시작해왔다. 불변 라미네이션 연구도 그렇고, 곡선그래프 자체는 연구가 많이 되어 있으나, 점들이 섞이는 연구는 없었다”라고 말했다.

앞으로는 어떤 연구를 할 것인지를 물었다. 백 교수는 “그걸 생각하려고 7월에 미국 뉴욕으로 간다. 뉴욕시립대학교 퀸즈칼리지의 니컬러스 블라미즈 교수가 사상류군 연구를 잘하는데, 같이 연구할 걸 찾아보려고 한다. 뉴욕 지역에 세계적인 위상수학자들이 많아 새로운 연구 방향을 위한 영감을 얻을 수 있을 것 같다”라고 말했다.

7fed877fbded6cf637ee8e8a4783756c3e096e3e00126fc9f8a2e214f56f21