취미가 사전 읽기인데

일본어판 [수리정보(数理情報)과학사전]을 읽다가 내가 선호하는 철학의 경향과 상관관계를 확실히 알게 되었다.




그러니까 정보 수리(数理)라는 분야는 대략 밑의 그림과 같이 관련 분야들이 위치하는데




이 중에서 철학 분야를 좀더 확대해보면 아래와 같은 그림이 된다고 한다.




분석철학/기호학/구조주의/현상학 등등

딱 여기에 있는 철학들이 내가 선호하는 철학들이였다 ㅋㅋㅋ


덤으로 [정보]란 무엇인가에 대해서 짧게 발췌


「정보」에 대하여

서문에서 언급했듯이 최근 '정보'라는 단어가 범람하고 있기 때문에 본 사전의 서두에서 정보의 기초적인 의미를 짚어보고자 한다.


정보 이론의 수학적 전개는 '엔트로피 이론', '통신 이론', '메시지 공간', '부호 이론' 등에서 잘 설명되어 있고, 그러한 것들의 총체가 정보 이론이라고 할 수 있기 때문에 본 사전에서는 굳이 정보 이론이라는 항목을 두지 않았다.


그러나 정보라는 단어를 사용하는 과학은 상당히 많으며, 그 분야에 종사하는 사람들조차도 정보가 무엇인지, 어떤 의미를 가지고 있는지에 대해 모호한 경우가 많다. 이러한 현실에서 정보이론이라는 항목을 마련하는 대신, 백과사전을 이용하는 모든 사람들에게 도움이 되기를 바라는 마음으로 정보의 기본적인 의미에 대해 간략하게 설명하고자 한다.


'정보'란 무엇인가? 단순한 지식을 정보라고 불러도 상관없지만, 과학으로서의 정보를 이야기할 때는 그것만으로는 곤란하다. 정보를 과학으로 다루는 경우에는 정보를 수량화해야 한다. 수학적으로 가장 기본적인 정보를 파악하는 방법은 20세기 중반 정보과학을 창시한 섀넌이 제안한 것이다. 여기서 이 섀넌의 생각을 예를 들어 설명해 보자.


여기에 트럼프 카드 한벌과 52장의 복권이 있다고 하자. 52장의 트럼프 카드 중에서 어떤 사람이 뽑은 1장의 카드를 마술사가 하트의 A라고 예상했다고 하자. 맞으면 모두 감탄한다. 그러나 이것이 52장의 복권 중 단 한 장의 당첨권이 들어있는 경우, 어떤 사람이 뽑은 한 장의 제비뽑기를 마술사가 "빗나갔다"고 예상한다고 해도 누구나 당연하다고 생각하고 오히려 그 마술사는 바보 취급을 받게 될 것이다. 

이 차이는 어디에서 오는 것일까? 말할 필요도 없이, 트럼프에는 52장의 서로 다른 카드가 있고, 복권은 당첨과 꽝의 두 가지 종류 밖에 없으며, 게다가 꽝이 훨씬 더 많다는 사실에서 비롯된다. 

즉 '사건 예측'에 있어서는 카드놀이가 더 많은 사건들이 있기 때문에 특정한 한 장의 카드를 맞히기가 어렵고, 따라서 맞힌다는 것은 카드놀이가 복권에 비해 훨씬 더 가치가 있다는 것이다. 

이런 것을 어떻게 과학으로 취급할 수 있을까? 52장 중 1장만 당첨되는 복권이니 당연히 떨어질 수밖에 없다고 생각하는 것만으로는 과학이 될 수 없다. 그런 미묘한 것을 과학으로 취급하기 위해 계량화하려면 어떻게 해야 할까.


복권에는 당첨되거나 당첨되지 않는 두 가지 이벤트가 있다. 게다가 당첨되지 않는 경우가 압도적으로 많기 때문에 복권을 뽑는 행위는 그다지 복잡하지 않은 반면, 트럼프는 52개의 서로 다른 이벤트가 있고, 뽑은 한 장의 카드를 맞추는 것이 어렵기 때문에 트럼프 뽑는 행위는 복권보다 복잡하다. 따라서 '복잡한 계에서 얻은 정보는 단순한 계에서 얻은 정보보다 가치가 있다'는 것이다.


그렇다면 '정보'를 과학으로 다루기 위해 복잡성이라는 개념을 이용하여 정보를 정량화할 수 있지 않을까? 카오스, 복잡성을 과학의 세계로 끌어들인 최초의 개념은 1865년 클라우디우스에 의해 도입되어 볼츠만, 깁스, 폰 노이만 등을 거쳐 확립된 엔트로피라는 개념이다. 이렇게 복잡성은 엔트로피의 형태로 정량화되어 있기 때문에 '정보'도 그 엔트로피를 빌려오면 정량화할 수 있지 않을까. 이것이 발상의 전환으로, 클라우디우스에 의해 엔트로피가 도입된 이후 섀넌이 등장하는 1948년까지 약 80년간 많은 물리학자들에 의해 엔트로피에 관한 다양한 연구가 이루어졌지만, '정보'라는 개념을 복잡성과 연관시키는 것은 섀넌이 등장할 때까지 아무도 하지 못했었다. 즉 '계가 가진 정보량=계가 가진 복잡성=엔트로피' 를 통해 '정보'라는 것을 양으로 취급할 수 있게 된 것이다. 게다가 섀넌의 논리는 물리 현상을 분석하기 위한 엔트로피를 그대로 사용하여 정보량을 정의한 것이 아니라, 보다 수학적 범용성이 있는 방식으로 정보량을 정할 수 있게 해 주었다.


섀넌의 천재성은 복잡성을 정보로 재인식한 것뿐만 아니라, 이를 통해 정보 전달에 관한 수학을 만들어낸 데에도 있다. 복잡성에서 그 전송이라는 개념은 생각하기 어려울 것이다. 실제로 수학, 물리학, 컴퓨터, 수리경제학 등 다양한 분야를 개척한 현대 정보과학의 창시자라 할 수 있다. 폰 노이만이라는 거인은 섀넌보다 20년 정도 전에 일반적인 확률적 사건계, 더 나아가 일반적인 양자 역학계에서 엔트로피를 정의하였고, 이는 섀넌의 엔트로피를 특수한 경우로 포함시키지만 그의 엔트로피는 어디까지나 계의 복잡성을 나타내는 것이었기 때문에 그는 섀넌의 도달점에 도달할 수 없었다. 섀넌은 정보 전송에 있어 올바르게 전달된 정보량을 나타내는 상호 정보량(상호 엔트로피)을 도입하여 현대 통신 이론의 기초를 다지는 데 성공했다.


그런데 정보에는 계가 가진 복잡성이라는 측면과는 다른 또 다른 얼굴이 있다. 그것은 어떤 시스템에서 얻은 지식(이것도 정보라고 할 수 있다)을 전송할 때, 그 지식을 어떻게 수학적으로 표현할 것인가 하는 것이다.


이제 정보 전달 과정에 대해 생각해 보자. 정보 전송 과정에서는 정보라는 양을 어떻게 공식화하고, 그것이 채널(통신로)을 통과하면서 어떤 변화를 받고 수신되는지, 그리고 그 변화를 어떻게 수량화할 수 있는지가 문제이다. 이 질문에 대한 첫 번째 답이 지금까지 설명한 엔트로피라는 양이었다. 따라서 다음으로 문제가 되는 것은 정보를 어떻게 보낼 것인가 하는 것이다. 즉, 인간에게 직접적으로 호소하는 정보(말이나 글 등)를 물리 공학적으로 만들어진 채널(통신로)을 이용하여 그대로 보낼 수 없는 경우가 많기 때문에, 그 정보를 보내기 쉬운 형태로 가공하는 것이 현실적인 문제로 대두된다. 이를 위해 정보를 적절한 형태로 재작성하는 것을 부호화라고 하며, 부호화된 정보를 신호라고 한다. 


(중간생략)



이상과 같이 정보 이론에서는 (1) 정보량을 어떻게 표현할 것인가, (2) 얻은 정보(지식)를 어떻게 가공(부호화)하여 전송할 것인가, (3) 전송되는 정보를 방해하는 잡음을 어떻게 제어할 것인가, (4) 전송된 정보를 어떻게 복호화할 것인가를 생각해야 한다. 그리고 이러한 전 과정의 수리는 어떤 물리량의 상태의 복잡성을 조사하는 것이며, 채널을 통한 상태의 역학적 변화를 생각하는 것이다.


이처럼 정보에는 두 가지 얼굴이 있음을 알 수 있는데, 하나는 대상(계)이 가지고 있는 양으로서의 정보이고, 다른 하나는 얻어진 지식의 수학적 표현으로서의 정보이다. 이 두 가지를 같은 정보라는 말로 부르는 경우가 많지만, 엄밀히 말하면 전자는 계가 나타내는 어떤 상태의 정보량이고, 후자는 전송을 위한 메시지(혹은 신호)라고 불러야 할 것이다.


이처럼 정보라는 개념은 이제 물리학, 통신공학은 말할 것도 없고 수학, 컴퓨터과학, 생명과학, 사회과학, 인지과학 등 다양한 분야에서 큰 역할을 담당하고 있다.