David Mumford는 1980년대부터 신호처리, 영상처리 같은 응용수학에 관심을 두기 시작했고,
그 중 가장 유명한 결과 중 하나가 딥러닝 이전 영상분할에 쓰이던 David Mumford 와 Jayant Shah가 1989년 발표한 Mumford-Shah functional
일단 아래처럼 terminology 정의하고
Mumford-Shah functional은 아래식을 최소화하는 를 찾는 것임.
where,
Munford-Shah functional을 각 항을 풀어서 설명하면
일단 의 첫번째 항은 data fidelity term 이라고 부르는 주어진 이미지 f와 우리가 원하는 piecewise-smooth함수 u의 차이를 알려주고, 두번째 항은 소위 regualrization/penalty term이라고 부르는 우리가 원하는 조건을 넣어서 functional을 well-posed 하게 만듬.
Munford-Shah functional의 regularization term 안에는 또 두개의 term이 있는데 첫번째는 경계선을 제외한 모든 면에서 u는 piecewise-smooth 해야한다는 조건, 두번째 term은 영상을 분할하는 경계, 즉 경계선의 길이를 최소화 해야한다는 조건을 나타냄 (영상을 분할하는데 경계선이 뱀처럼 구불구불하면 이상하니까...).
이 문제는 지난 30년간 수학적 영상처리 (예를들어서 UCLA의 Tony Chan, Andrea Bertozzi 혹은 Ecole Polytechnique의 Antonin Chambolle ) 유명한 응용수학자들이 30년간 여러가지 연구를 했고, 여전히 연구는 진행중인 주제임. (다만 딥러닝 덕분에 완전히 ... 응용수학을 제외한 다른 분야에선 이제 외면받지만).
여튼 Mumford-Shah functional을 이해하기 어렵게 만드는 원인은 regularization의 첫번째 piecewise-smooth term 때문임.
그래서 초기의 연구는 로 보내서, 첫번째 regularization 항을 날려버리고, 간단하게 만들었는데
이런 special case를 piecewise constant Mumford-Shah 라고 부름.
이 경우는 문제를 풀기 더 쉬워지고 level set method, convex relaxation (Chambolle-Pock), Chan-Vese 등 더 쉽게 풀수 있는 영상분할방법을 유도할 수 있음.
Chan-Vese 영상분할의 예시
예전 기억으로는 딱히 여기에 관심 있는 사람들은 많이 없는듯해서, 여기까지.
여튼 이 문제는 geometric measure theory, variational analysis 관점에서 꽤나 재미있게 다뤄지는 분야 중 하나임.
segmentation생각보다 훌륭하네; 병렬화되면 써봄직 할거같은데 안되나
딥러닝 이전에는 자주 쓰였음. Boykov의 graph cut과 거의 쌍벽을 이루는 방법론 중 하나였는데... 이젠 뭐... ㅠ
확실히 semantic같은것도 힘들어보이고 data 많아진다고 좋아지는 알고리즘도 아니니... data driven이 답인건가
딥러닝 이후에는 거의 안 쓰게 된 거임?
이제는 선호하는 알고리즘은 아니지, 딥러닝이 훨씬 잘하는데...
신기허네