딥러닝은 ‘패턴 매칭’일 뿐일까? 패턴 매칭이 맞는 순간과, 그 말로는 어림없는 이유

지하철에서 광고판을 스치듯 보다가 문득 멈춘다. “저 사람… 어디서 봤더라?” 우리는 머릿속 앨범을 뒤져 비슷한 얼굴을 끌어낸다. 이 장면은 흔히 딥러닝을 설명할 때 쓰이는 비유다. 기계도 낯선 입력을 과거의 예시와 대조해 가장 닮은 것을 고르는 것, 결국 패턴 매칭일 뿐이라는 주장. 절반은 옳다. 더 중요한 절반은, 그 말로는 오늘의 딥러닝을 다 설명할 수 없다는 사실이다.

먼저 옳은 절반부터 인정하자. 어떤 훈련조건에선 신경망이 믿을 수 없을 만큼 ‘비슷한 예시의 가중 평균’처럼 행동한다. 모델이 아주 크고, 학습 중 가중치가 거의 움직이지 않을 때 벌어지는 현상이다. 이때의 예측은 “지금 입력이 훈련 때 무엇과 가까웠나?”를 따지는 일과 거의 같다. 데이터가 충분하고 새 상황이 훈련과 크게 다르지 않을 땐, 이 방식만으로도 놀랄 만큼 강하다. 검색 잘하는 학생이 시험에서 상위권을 찍는 것과 비슷하다.

하지만 여기서 멈추면 본질을 놓친다. 딥러닝의 엔진은 ‘닮음의 잣대’를 스스로 고쳐 만든다는 데 있다. 사람도 미술관을 몇 번 드나들면 같은 그림이 다르게 보인다. 처음엔 색과 크기에 눈이 가고, 다음엔 붓자국과 구도, 그 다음엔 화가의 습관이 보인다. 신경망도 학습을 거치며 “무엇이 비슷함인가”라는 기준을 바꿔 낀다. 처음엔 색 얼룩 같은 단서에 기대다가, 점점 가장자리·질감·부분-전체 관계, 문맥과 규칙 같은 더 유용한 단서로 옮겨 탄다. 패턴을 맞춘다기보다, 패턴이 무엇인지부터 다시 정의하는 셈이다.

이 변화는 우연이 아니다. 모델의 모양(아키텍처), 목표(정답 맞히기·가려진 조각 채우기·서로 구분시키기), 데이터의 폭과 증강, 정규화와 최적화 같은 훈련법이 합쳐져 렌즈를 빚는다. 그래서 같은 데이터라도 목표를 바꾸면 전혀 다른 ‘닮음’이 생긴다. 얼굴 사진으로 훈련한 모델이 표정에 민감해지는 반면, 신분 확인을 목적으로 훈련한 모델은 조명 변화를 더 잘 무시한다. 무엇을 배우도록 시켰는가가 곧 무엇을 비슷하다고 여길 것인가를 결정한다.

여기에 깊이(depth)가 가져다주는 경제성이 얹힌다. 깊이는 조립의 언어다. 작은 규칙을 한 층에서 만들고, 그 규칙을 다음 층에서 엮어 더 큰 구조를 만든다. 얕은 모델은 모든 것을 한 번에 때려 맞춰야 해서 차원이 폭발한다. 깊은 모델은 조각을 모아 구조를 세우는 지름길을 제공한다. 다만 지름길이 항상 안전한 건 아니다. 잔차 연결, 정규화, 적절한 초기화 같은 훈련의 안전장치가 없으면 깊이는 낭떠러지가 된다. 좋은 설계는 ‘깊이’ 자체가 아니라 깊이를 감당하는 제작법에서 나온다.

그렇다면 “결국 암기 아닌가?”라는 의심은 어떻게 볼까. 사실 큰 모델은 많은 예시를 기억한다. 그 기억이 성능에 도움 되는 것도 맞다. 그러나 잘 되는 모델일수록 기억을 복사하지 않고 활용한다. 문장을 통째로 외워 읊기보다, 문법과 어휘를 묶어 새 문장을 만든다. 동시에 솔직해질 필요도 있다. 드문 구절이나 낮은 난이도의 패턴은 그대로 튀어나오는 경우가 있다. 그래서 개인정보 보호와 재현(리프로덕션) 위험을 살피는 평가가 점점 중요해졌다. 똑똑함과 책임은 같은 문제의 앞뒤다.

일반화—처음 보는 상황에서도 잘하는 능력—를 가르는 것도 핵심은 전제(가정)다. 이미지는 가까운 점들이 같은 물체에 속할 가능성이 높고, 언어는 순서와 문맥이 중요하며, 소리는 시간이 흐르며 이어진다는 가정. 이런 전제를 구조·목표·데이터·훈련법 속에 새기면, 모델은 덜 배워도 멀리 간다. 반대로 전제가 엉뚱하면 데이터가 아무리 많아도 엉뚱한 방향으로 달린다. 흥미로운 건, 데이터가 넘칠수록 너무 빡빡한 전제보다 유연한 전제가 유리할 때가 있다는 점이다. 작은 연못에선 정교한 낚싯대가, 큰 바다에선 튼튼한 그물이 더 낫다.

또 하나의 오래된 아이디어가 이 이야기와 겹친다. 압축이다. 좋은 설명은 짧다. 적은 규칙으로 많은 현상을 묶어낸다. 딥러닝도 불필요한 세부를 덜어내고 핵심만 붙잡을수록 새로운 데이터 앞에서 흔들리지 않는다. 다만 현대의 모델은 매우 크고 훈련도 복잡하다. “더 간결하면 언제나 더 잘 일반화한다”는 문장은 경향일 뿐, 철칙은 아니다. 어떤 경우엔 모델이 훈련 데이터를 거의 완벽히 맞추고도 처음 보는 데이터에서 잘할 때가 있다. 훈련 과정 자체가 더 단순한 해법을 은근히 선호하기 때문이다. 그래서 우리는 “간결함을 향하라”와 “실제로 검증하라”는 두 문장을 동시에 품어야 한다.

여기까지가 사실의 뼈대라면, 실전에서 필요한 건 질문의 틀이다.
“그냥 패턴 매칭이냐?”는 질문은 정확하지 않다. 더 정확한 다섯 가지 질문이 있다.

1.
우리 모델은 어떤 작동 방식에 서 있나?
가중치가 거의 움직이지 않는 조건에서 ‘비슷한 예시의 가중 평균’에 기대고 있는가, 아니면 훈련을 통해 닮음의 잣대 자체를 바꾸는 쪽인가.
2.
전제를 어디에, 어떻게 새겼나?
구조(모델 형태), 목표(무엇을 잘하게 할 건가), 데이터(양·다양성·증강), 훈련법(정규화·학습률) 가운데 무엇이 강하고 무엇이 약한가. 그 조합이 현실의 과제와 맞물려 있는가.
3.
깊이와 자원은 균형 잡혔나?
깊이·너비·맥락 길이(문장을 볼 수 있는 창) 중 어디에 어떻게 자원을 배분했나. 그 선택을 받쳐줄 훈련의 안전장치는 충분한가.
4.
기억은 통제되고 있는가?
그대로 되풀이되는 표현이 없는지, 드문 구절이 재현되지 않는지, 안전과 프라이버시는 점검했는가. 동시에 기억을 활용해 새로운 과제를 푸는 능력은 충분한가.
5.
압축과 검증의 균형을 잡았는가?
모델이 붙잡은 규칙이 간결한가를 보되, 최종 평가는 늘 새로운 데이터 위에서 하라. 간결함은 훌륭한 나침반이지만, 목적지는 실제 성능이다.

이제 다시 출발점으로 돌아가자. 딥러닝은 패턴을 맞추는 능력을 크게 품고 있다. 어떤 조건에선 정말로 “비슷한 예시의 평균”처럼 일한다. 그러나 오늘의 딥러닝을 움직이는 힘은 거기서 끝나지 않는다. 무엇을 비슷함이라 부를지 스스로 배우고, 작은 규칙을 층층이 조립해 큰 의미를 만들며, 적절한 전제를 구조 속에 새겨 불확실한 현실에서 흔들리지 않으려 한다. 때로는 절차의 흐름까지 흉내 내며 작은 추론을 이어 붙인다. 이 모든 층위를 하나로 눌러 “패턴 매칭”이라 부르면, 중요한 차이가 사라진다.

우리가 던져야 할 질문은 바뀌었다. “그냥 패턴 매칭인가?”가 아니라 “어떤 패턴을, 어떤 전제로, 몇 단계를 거쳐, 어떻게 검증하며 배울 것인가?”
그 질문을 정직하게 다루는 팀과 도구가 오래 버틴다. 그리고 그런 태도를 갖춘 모델만이, 기억의 앨범을 넘어서 세계의 도감에 한 페이지씩 새로 붙일 수 있다.

7cbcc068f5dc3f8650bbd58b36877c69

작성: 특이점이온다 갤러리의 초존도초