[시리즈] 리버스 1999 이공계 TMI
· 념글에 언급된 이번 출석문구 "CPT 대칭"에 관해(쉬움)(장문)
· 37 일화에 나온 십이각별과 슐레플리 기호에 대해(장문)
· 저번 출석 문구에 나온 하이젠베르크의 이론에 대해(장문)
· 웹이벤 히사베스가 말한 "푸앵카레 재귀"에 대해
· 히사베스의 캐릭터성과 사문석에 대해(약 장문)
· 로렌츠 나비의 모티브에 대한 tmi
· 로렌츠 버터플라이 대사/스킬의 그뭔씹 이과용어들 정리
· 로나비의 글 <대기 중성미자 이상 현상...>에 대해 (장문)



이번 이벤스 클라이막스에서 루드비히 기물이 엔트로피를 언급하는걸 다들 봤을거임


사실 대부분 1턴클 하느라 그렇게 많이 보진 못했겠지만

전체 대사를 보면 마치 엔트로피라는 단어를 어제 배운 사람처럼

좀 과할정도로 자주 사용함




이 엔트로피라는 단어가 워낙 씹덕 세계관 여기저기에 사용되어서

열역학적인 무질서도라는 의미라는건 다들 알거임


그래서 대부분 무질서도니까 불확실성이란 뜻이겠거니~로 넘겼을 거고

사실 그 해석이 그다지 틀린건 아니지만


정확히 따지자면 루드비히가 말한 "섀넌 엔트로피"는

우리가 아는 열역학의 그 엔트로피와 약간 다른 개념임


그래서 이번엔 이 섀넌 엔트로피

다른 말로 정보 엔트로피란 무엇일지를 주제로 글을 써보기로 함





1. 정보


이제 슬슬 원래 발언이 뭐였는지 기억도 안 나는 고이즈미


위와 같은 말을 듣는다면 우린 얼마나 많은 정보를 얻은 것일까?

아마 대부분 0이라고 대답할 거임


그럼 반대로, 우린 왜 저 말들의 가치가 0이라고 판단했을까?

왜냐하면 저 말들은 당연한 말들이기 때문임


당연하다

확률이 1(=100%)이다

즉, 우리는 확률이 1인 사건의 정보값을 0이라고 봄


"다음 10연차는 ㅈ망할거예요"라는 말은 어떨까

이 말은 당연한 말보다는 가치있지만

그렇게까지 가치있는 말은 아닐 거임


왜냐하면 그건 일상이니까


즉, 우리는 불확실성을 해소해주긴 하지만 충분히 있을법한 정보

그러니까 확률이 높은 현상에 대한 정보값은 낮게 판단함


만약, "다음 로또 1등 당첨번호가 1 2 3 4 5 6 이다"라는 말을 듣는다면

이 말의 정보값은 어떻다고 생각함?


설명할 필요도 없이 존나 높겠지


즉 우리는 어떤 사건에 대해 

그 사건의 확률이 낮을수록 정보값이 높다고 판단함



애니나 만화같은 곳에서 정보를 살 때를 생각해도 됨

보통 일어나지 않을 법한 일에 대한 정보를 얻으려면

아주 높은 대가를 지불해야 알려주잖음?


반대로 돈을 쥐꼬리만큼 주면 별거 아닌 정보밖에 못 얻고



즉, 어떤 사건이 가지는 의외성이 바로 정보의 크기란 거임





20세기 없어서는 안 될 천재 과학자 클로드 섀넌은

이 '정보'라는 값의 크기를 수학적으로 다루고 싶었음


그래서 위의 예시들과 같이

정보라면 가져야 할 특징들을 나열해봄



1. 정보량은 0 이상의 실수이다.

2. 확률이 클수록 정보량은 작다.

3. 상관 없는 두 사건이 둘 다 일어난다는 정보량은 각 사건이 일어난다는 정보량의 합이다.


이 외에도 좀 더 디테일한 조건들이 있긴 하지만 몰라도 되고




2번으로 우린 정보는 확률에 대한 함수라는 것을 알 수 있고

1번으로 그 치역이 0 이상이 되도록 정의해야함


그리고 특히 3번이 중요한데

상관 없는(독립인) 두 사건이 일어날 확률은

각 사건이 일어날 확률의 곱임


즉, I(x)라는 정보를 뽑는 함수를 생각한다면

I(ab) = I(a) + I(b)인 것임


이 특성에서 착안해 섀넌은 확률 p인 사건에 대한 정보를 이렇게 정의함

우리가 원하는 대로

100%의 확률은 정보량이 0

일어나지 않을 사건이 일어난다면 정보량이 무한대인 등

적절한 특성을 가진 공식이 됨


그리고 이 로그의 밑은 어떤 숫자를 넣든 상관은 없지만

섀넌은 이 정보라는 것을 전기회로로 다룰 것을 염두에 두었고

전기가 흐른다, 흐르지 않는다 두가지 상태로 작동하는 전기때문에

이 공식의 로그의 밑을 2로 두었음


그리고 알다시피 로그란 그 밑을 진법으로 나타낸 자릿수라는 뜻도 있어

정보의 단위는 이진법 자릿수라는 뜻의 binary digit

즉 bit가 되었음





2. 섀넌 엔트로피



확률을 이야기할 때 확률변수가 빠질 순 없지

문과도 이과도 모두 배웠던 내용이지만

다 까먹었을 사람들을 위해 간단히 설명하자면


동전으로 따지면 앞: ½, 뒤:½

주사위로 따지면 각 숫자들 각각 ⅙ 이런 식으로

일어날 사건들과 그 확률을 설명하는 모델이 확률변수임



동전과 주사위는 확률이 일정하지만 그렇지 않은 경우도 있겠지?

예를 들어, 영어로 쓰인 책에서 무작위로 알파벳을 하나 뽑았을 때

어떤 알파벳이 나올까를 따지는 경우

확률변수가 위 그림처럼 불균일하게 나온다고 함



여기서도 아까처럼 정보값을 정의할 수 있음


"무작위로 알파벳을 뽑았더니 E가 나왔다"의 경우

약 11%의 확률을 가지니

정보값을 따지면 -log_2(0.11) ≈ 3.18 bit가 나옴


반대로 가장 드문 알파벳인 Z가 나왔다는 정보는

계산해보면 약 10 bit가 나옴






만약, 어떤 사람이 책에서 알파벳을 계~~속 뽑고

우리가 그에 대한 정보를 계~~~속 받는다면

우리는 자주 3 bit 정도의 정보를 받고

가끔씩 10 bit 정도의 정보도 들어오겠지?


이렇게 받은 정보량의 기대값(평균값)을 구하면 약 4 bit라고 함




이런 식으로 어떤 확률변수(모델)에 대해

이 확률변수에서 전달되는 사건당 평균적 정보량을

섀넌 엔트로피, 혹은 정보 엔트로피라고 하고

정보량과 확률의 곱의 총합으로 계산함



그리고 이렇게 계산한다면

확률변수에 대한 엔트로피 값은

그 확률이 균등할수록 높고 치우쳐져 있을수록 낮음


쉽게 말해 6이 잘 나오는 주작 주사위는 엔트로피가 낮고

우리가 아는 '뭐가 나올지 모르는' 주사위는 엔트로피가 높음


즉 엔트로피란 "정보의 양"을 의미하기도 하지만

"모델의 불확실성"을 의미하기도 한단거임




여기서 루드비히의 대사를 다시 봐보자


어떤 언어가 엔트로피가 높다는건

그 언어에 담긴 정보가 많다는 뜻도 되지만

반대로 그 언어가 불확실하다, 모호하다는 뜻도 됨


예를 들어, 우리가 서술형으로 말한다면

많은 정보를 전달할 수 있지만 오해의 소지가 생길 수 있고

반대로 우리가 O X로만 말한다면

굉장히 명쾌하지만 담긴 정보가 적지


그래서 섀넌 엔트로피는 최적점을 갖는게 좋을 것이고

특히 루드비히는 언어의 모호성을 줄이는 것에 더 큰 관심이 있어서

엔트로피의 최소화에 더 집착하는 것이지







근데 그래서 이 섀넌 엔트로피란 개념을 어디다 씀?









3. 허프만 코딩


만약 알파벳 26종을 이진법을 사용해 전달해야 한다면

우리는 알파벳 하나에 5 bit씩이나 할당해야 하겠지

왜냐하면 4 bit로 표현 가능한건 16종이라 부족하니까


그리고 실제론 알파벳만 쓰는게 아니라 별별 문자를 다 쓰니까

한 글자가 대략 8 bit씩 할당됨


하지만 이렇게 모든 정보를 쌩으로 전달하면 너무 느리고

이 속도를 올리기 위해 전송 채널을 개선하는건 너무 비쌈


그래서 과학자들은 이 정보를 더 효율적으로 전달하고 싶었음


다르게 말하자면

압축하고 싶었음



그래서 간단한 아이디어를 냄



"자주 나오는 문자는 적은 비트로 표현하고

드물게 나오는 문자만 많은 비트로 표현하면 어떨까?"



그런데 이렇게 각 문자가 다른 자릿수를 가진다면

표현법을 자칫 잘못 정한다면 어디까지가 하나의 문자인지 알 수 없게 됨




예를 들어 

A를 100

B를 10011로 표현한다면

정보를 받을 때 100 부분이 A인지 B의 앞부분인지 구분이 안되잖음


그래서 이걸 '잘' 정하되 가장 효율적으로 정하는 알고리즘이 필요했고


그 알고리즘이 바로 "허프만 코딩"임





정확히 어떻게 구현하는지는 글이 길어지니 생략하겠음

생각보다 쉬우니 함 찾아봐라


이 압축 방법은 아직도 png, zip, mp3 등 다양한 압축에 쓰이는

아주 효율적인 방법임



그리고 허프만 코딩을 통해 압축한 결과는

수학적으로 섀넌 엔트로피 값과 아주 근접하며

특히 무손실 압축의 최하한값은 섀넌 엔트로피라는게 증명되어 있음 



즉 우리가 전달해야하는 확률변수의 엔트로피를 알고있다면

그 정보를 원하는 속도로 전달하려면 최소한 어떤 대역폭의 채널이 필요할지,

정보를 어디까지 압축할 수 있을지의 목표를 설정할 수 있다는 거임




참고로 허프만(Huffman)은 미국식 성씨고

이 성씨의 뿌리는 독일의 Hofmann이다





4. 기타등등


왜 굳이 정보의 기댓값에 엔트로피란 이름을 붙였느냐에 대한 썰이 있음


섀넌이 이 물리량에 대해 어떤 이름을 붙일지 고민하고 있었는데

폰 노이만이 엔트로피라는 이름을 추천함

그 이유는 첫째, 열역학에서 쓰는 엔트로피와 식이 거의 똑같기 때문이고

둘째, 열역학에서도 엔트로피란 개념이 너무 어려워서 

어차피 다들 잘 모를거니 논쟁에서 유리하다는 이유였음



이렇게 이름 자체는 공식의 유사성과 살짝의 유머로 인해 정해졌지만

사실 섀넌 엔트로피가 열역학 엔트로피와 실제로도 연결됨


바로 정보를 지우는 것에는 필연적으로 열이 발생할 수밖에 없고

그 열량은 그 정보의 섀넌 엔트로피 값에 비례한다는

란다우어의 원리가 바로 그것임

이 란다우어의 원리로 인해

"에너지 투입 없이 엔트로피를 줄일 수 있지 않을까"라는 역설

맥스웰의 악마가 논파됨


악마가 입자를 분류하기 위해선 입자의 상태에 대한 정보를 저장하고

유한한 메모리 용량을 가졌다면 언젠가 그 정보를 삭제해야 하는데

정보 삭제의 과정에선 열이 나오고

그건 엔트로피 증가를 발생시키니

맥스웰의 악마가 실존하더라도 전체 계의 엔트로피는 줄어들지 않는다는 원리



왜 정보의 삭제가 열을 발생시키는지는 너무 길어지니 생략




끗



세줄요약

1. 정보란 사건의 의외성이다

2. 섀넌 엔트로피란 정보의 기대값이다

3. 섀넌 엔트로피는 정보이론을 포함해 오만곳에 잘 쓰인다





————————————————————————————————






자료조사 하면서 본건데

이 섀넌이라는 사람 진짜 개쩔더라

정보이론의 창시자라는건 둘째치고

그냥 디지털 회로라는 개념 자체를 얘가 만듦

심지어 그게 석사논문임

박사논문도 아니고 석사논문임


생성형 AI중 클로드도 이 클로드 섀넌에서 이름을 따온 거고

하여튼 여러모로 멋진 사람이었음


이니그마도 좋아하는 이유가 있었어