장작위키에서 메이지보다가 엔트로피가 왜 죽음/확률을 다룬다고 이상해해서 궁금함.


정보 엔트로피라는 개념이 있는데 '불확실성의 측정'에 관련된 내용이거든.

통신에서 노이즈가 원본 데이터에 섞여있을 때 원래의 데이터를 다시 복구하는 방식인데

정보 엔트로피가 높으면 (노이즈가 많으면) 불확실성이 커져 원래의 데이터를 알기 힘들고, 엔트로피가 줄면 원래의 데이터를 알 수가 있어.


처음으로 돌아가서 엔트로피 스피어를 조절하면 이 같은 불확실성을 줄일 수 있다는 말이니까

확률을 다루는 스피어를 엔트로피라고 해도 되는데 왜 안 된다는거임?


열역학에서 사용하는 엔트로피는 초기 상태에서 변화하는 양을 의미하지만,

어떤 사람은 이 열역학적 엔트로피가 정보 엔트로피의 변화된 형태라고도 이야기하더라고.