[📪정보] 딥시크의 mHC, LLM 학습 통념 깼지만 실제 구현은 난제

7fed8575b18607f43ee886e544ee77654f6ea9f4cef6e74fd394f3faad98ca8bb0

https://www.aitimes.com/news/articleView.html?idxno=205344

딥시크가 대형언어모델(LLM) 학습 방식을 근본적으로 바꿀 수 있는 새로운 신경망 아키텍처를 제안한 가운데, 이에 대한 호평이 이어지고 있다. 동시에, 실제 적용까지는 넘어야 할 기술적 과제도 적지 않다는 지적이 나왔다.

딥시크는 지난주 공개한 기술 논문에서 mHC(Manifold-Constrained Hyper-Connections)라는 새로운 구조를 제안했다.

mHC는 바이트댄스가 2024년 제안한 하이퍼 커넥션(HC) 구조의 학습 불안정성을 해결하기 위해 고안됐다. HC는 다수의 최신 딥러닝 모델의 기반인 잔차 신경망(ResNet)의 한계를 극복하기 위한 시도로, 정보 흐름을 단일 경로가 아닌 다중 경로로 확장한 것이 특징이다.

ResNet은 약 10년 전 마이크로소프트 리서치 아시아의 허카이밍 연구진이 제안한 구조로, 오늘날 LLM을 포함한 수많은 모델의 뼈대 역할을 해왔다. 그러나 HC 구조는 경로가 늘어나는 만큼 학습이 불안정해지고, 극단적인 경우에는 학습이 붕괴는 문제가 있었다.

이에 대해 송린치 홍콩시립대학교 교수는 사우스차이나모닝포스트와의 인터뷰에서 “딥시크다운 연구”라고 평가했다.

그는 ResNet을 “정보가 흐르는 단일 차선”으로, HC를 “여러 차선이 있는 고속도로”에 비유했다. mHC는 이 차선들에 명확한 규칙을 부여해 정보 흐름이 무너지지 않도록 제어한다는 설명이다. 추가 계산 부담 없이 안정성을 확보했다는 점에서 “더 강력하고 신뢰할 수 있는 모델로 가는 실질적인 경로”라는 호평했다.

궈쑹 홍콩과학기술대학교 교수는 이번 연구가 LLM 연구의 방향 전환을 시사한다고 봤다. 지금까지는 미세한 구조 조정 같은 ‘마이크로 디자인’이 주류였다면, mHC가 지향하는 알고리즘-하드웨어 공동 설계 및 메모리와 연산의 분리는 LLM 연구의 '매크로 디자인' 전환이라는 것이다.

그는 특히 “ResNet이라는 백본은 건드릴 수 없다는 통념을 깼다”라며, 앞으로 알고리즘과 하드웨어 공동 설계, 그리고 메모리 용량과 연산의 분리(decoupling)가 효율적 확장의 핵심이 될 수 있다고 전망했다.

하지만, 신중론도 만만치 않다. 송 교수는 mHC가 현재까지는 4개 경로, 최대 270억 매개변수 모델까지 검증됐지만, 수백억~수천억 매개변수 규모의 최첨단 모델에서도 동일한 효과를 낼지는 미지수라고 지적했다.

궈 교수도 “프론티어 모델에서도 효용성이 있을지는 미지수”라고 말했다. 예디얀 영 홍콩과기대 교수도 ResNet처럼 판도를 바꿀 잠재력은 인정하면서도, 다양한 아키텍처 전반에서 검증되기 전까지는 성급한 결론을 경계해야 한다고 덧붙였다.

구현 난이도도 난제로 꼽혔다. 궈 교수는 mHC가 최첨단 인프라에 의존할 가능성이 있어, 소규모 연구실이나 모바일 환경에서는 도입 장벽이 될 수 있다고 지적했다.

그런데도 업계의 기대감은 크다는 평이다. 송 교수는 이번 연구를 “바퀴의 발견”에 비유하며, 안정적인 새로운 기반이 열릴 경우 연구자와 엔지니어들이 앞다퉈 바퀴를 교체하려 할 것이라고 말했다.

실제로 딥시크 연구진은 논문에서 30억, 90억, 270억 매개변수 모델에 mHC를 적용한 결과, 연산 부담을 크게 늘리지 않으면서도 안정적으로 확장됐다고 밝혔다.

한편, 구현 난이도 문제는 지난해 '딥시크-R1'을 공개했을 당시와 일부 흡사한 면이 있다. R1은 컴퓨팅 자원을 훨씬 적게 사용한다는 점으로 주목받았지만, 딥시크 수준의 GPU 최적화 엔지니어링 기술이 없으면 제대로 성능을 발휘하기 어렵다는 지적이 나왔다.

이에 따라 딥시크는 이후 5일간의 '오픈 소스 위크'를 통해 관련 기술 논문을 추가 공개한 바 있다.

음....실제로 실현하는건 어려운가 봅니다.

[📪정보] 딥시크의 mHC, LLM 학습 통념 깼지만 실제 구현은 난제

댓글 2

다른 게시글