딥시크 신규 논문 ONhttps://arxiv.org/abs/2502.11089gall.dcinside.com
먼저 이건 념글과 실베에도 올라간 딥시크 신규 논문...
너무 간단하게 써 있어서 부연설명을 하자면
- 기존에는 Full Attention 방식으로 모든 단어를 서로 비교하며 문맥을 이해하는 방식 활용을 했는데, 그러다보니 분량이 늘어날수록 계산량이 폭발적으로 증가함.
- 그렇다면 중요한 부분만 읽으면(Sparse Attention) -> 성능이 떨어지는 단점
어떻게 하면 될까?
- Compression(토큰 압축) - 비슷한 단어를 묶는다
- Selection(토큰 선택) - 핵심 단어 집중 분석
- Sliding Window(슬라이딩 윈도우 - 뭐라고 번역해야 하냐?) - 문맥을 유지해 AI가 흐름을 놓치지 않도록 하는 방법
물론 완벽하지는 않지만 불필요한 연산을 최소화했다고 하고, 훈련비용을 절감했다고 하네.
대단하다고 생각한 건
자세히 보면 저자 이름에 Wenfeng Liang이 보일 것이다. 그리고 이메일로도 wenfeng.liang@deepseek.com이 있고...
사실 량원펑 정도 되면 딥시크도 이제 꽤 커진 회사라 CEO는 직접 연구를 안 하고 투자를 받기 위해 영업을 뛰는 경우가 대부분이기는 함.
그런데 자신 있게 자신의 이름을 저자의 목록에 넣었다고?
이름만 넣은 거 아니냐! 이렇게 말할 수도 있기는 하겠지만...
그래도 다른 빅테크에서 이렇게 CEO 이름이 직접적으로 나온 건 거의 못 본 거 같아서...
아직 연구에 대한 순수한 마음이 남아 있는 거 같아서 좀 놀랐다.
hao de