[📪정보] (논문) DeepSeek-OCR: 문맥의 광학적 압축

[초존도초(htr3c654r6ft)]

DeepSeek-OCR: 문맥의 광학적 압축

Haoran Wei, Yaofeng Sun, Yukun Li

DeepSeek-AI

초록

본 논문에서는 긴 문맥을 광학적 2D 매핑을 통해 압축하는 가능성을 최초로 탐색한 DeepSeek-OCR을 제안한다. DeepSeek-OCR은 DeepEncoder와 디코더 DeepSeek3B-MoE-A570M의 두 구성요소로 이루어진다. 구체적으로, DeepEncoder는 핵심 엔진으로서, 고해상도 입력에서도 활성화 메모리를 낮게 유지하면서 높은 압축률을 달성하여 적정하고 관리 가능한 수의 비전 토큰을 확보하도록 설계되었다. 실험 결과, 텍스트 토큰 수가 비전 토큰 수의 10배 이내(즉, 압축률 < 10×)일 때 디코딩(OCR) 정밀도는 97%에 이르렀다. 심지어 압축률이 20×에 달해도 OCR 정확도는 약 60%를 유지한다. 이는 LLM의 역사적 장기 문맥 압축과 망각 메커니즘 같은 연구 영역에 유의미한 가능성을 시사한다. 실용 측면에서도 DeepSeek-OCR은 높은 가치를 보인다. OmniDocBench에서, 본 모델은 페이지당 256 토큰을 사용하는 GOT-OCR2.0을 100개의 비전 토큰만으로 능가하며, 페이지당 평균 6000개 이상의 토큰을 쓰는 MinerU2.0보다도 800개 미만의 비전 토큰으로 더 뛰어난 성능을 보인다. 실제 프로덕션 환경에서, 단일 A100-40G로 하루 200k+ 페이지 규모의 LLM/VLM 학습 데이터를 생성할 수 있다. 코드와 가중치는 http://github.com/deepseek-ai/DeepSeek-OCR 에서 공개한다.

그림 1 설명

(a) Fox [21] 벤치마크에서 압축률(정답 텍스트 토큰 수/모델이 사용한 비전 토큰 수)과 정밀도의 관계. (b) OmniDocBench [27]에서의 성능 비교. DeepSeek-OCR은 end-to-end 계열에서 가장 적은 비전 토큰으로 최신 성능을 달성한다.

1. 서론

현재 대규모 언어 모델(LLM)은 시퀀스 길이에 대해 제곱적으로 스케일링되는 연산 비용 때문에 긴 텍스트를 처리하는 데 큰 계산적 어려움을 겪는다. 우리는 텍스트 정보를 시각 모달리티를 이용해 효율적으로 압축하는 방안을 탐색한다. 문서 텍스트를 담은 단일 이미지는 동등한 디지털 텍스트에 비해 훨씬 적은 토큰으로도 풍부한 정보를 표현할 수 있다. 이는 비전 토큰을 통한 광학적 압축이 훨씬 높은 압축률을 달성할 수 있음을 시사한다.

이 통찰은 VLM(비전-언어 모델)을 LLM 중심 관점에서 재검토하게 만든다. 즉, 비전 인코더가 사람에게 쉬운 기본 VQA [12, 16, 24, 32, 41]가 아니라 텍스트 정보 처리 효율을 어떻게 높여줄 수 있는지에 초점을 맞춘다. 비전과 언어를 잇는 중간 모달리티인 OCR은 시각-텍스트 압축 패러다임을 실험하기에 이상적이다. 시각적 표상과 텍스트 표상 간에 자연스러운 압축-복원 맵핑을 형성하며, 정량적 평가 지표도 제공하기 때문이다.

이에 우리는 DeepSeek-OCR을 제안한다. 이는 효율적 비전-텍스트 압축을 위한 VLM으로서, 개념 증명을 위한 초기 설계다. 본 연구의 기여는 다음 세 가지다.

첫째, 비전-텍스트 토큰 압축률에 대한 포괄적 정량 분석을 제공한다. 다양한 문서 레이아웃을 포함하는 Fox [21] 벤치마크에서, 9–10× 텍스트 압축에서 96%+ OCR 디코딩 정밀도, 10–12×에서 약 90%, 20×에서 약 60%를 달성했다(출력과 정답의 포맷 차이를 감안하면 실제 정확도는 더 높음). 이는 컴팩트한 언어 모델도 압축된 시각 표상을 효과적으로 디코딩할 수 있음을 보여주며, 대형 LLM 역시 적절한 프리트레이닝 설계를 통해 유사 능력을 습득할 수 있음을 시사한다.

둘째, 고해상도 입력에서도 낮은 활성화 메모리와 최소한의 비전 토큰을 유지하는 새 아키텍처 DeepEncoder를 도입한다. 이는 윈도우 어텐션 기반 인코더와 글로벌 어텐션 기반 인코더를 16× 컨볼루션 토큰 압축기로 직렬 연결한다. 덕분에 전자는 많은 비전 토큰을 처리하고, 압축기를 거치며 토큰 수를 줄여 후단의 밀집 글로벌 어텐션 모듈에 들어가기 전에 메모리와 토큰을 효과적으로 압축한다.

셋째, DeepEncoder와 DeepSeek3B-MoE [19, 20]를 결합해 DeepSeek-OCR을 개발했다. 그림 1(b)와 같이, 본 모델은 가장 적은 비전 토큰으로 OmniDocBench의 end-to-end 계열에서 최신 성능을 달성한다. 또한 차트, 화학식, 단순 평면도형, 자연 이미지 파싱 능력도 갖춰 실용적 가치를 높였다. 프로덕션에서는 A100-40G 8개 노드×20대(=160 GPU) 환경에서 하루 3,300만 페이지의 LLM/VLM 학습 데이터를 생성할 수 있다.

요약하면, 본 연구는 LLM의 텍스트 처리에서 시각 모달리티를 효율적 압축 매체로 사용하는 초기 탐색이다. DeepSeek-OCR을 통해 7–20× 수준의 토큰 감축으로 다양한 역사적 문맥 단계를 처리할 수 있음을 보였다. 이는 장기 문맥 문제 해결을 위한 유망한 방향이다. 아울러 VLM의 토큰 할당 최적화를 위한 실증적 가이드라인을 제시했고, 제안한 DeepEncoder가 실서비스급 배포가 가능함도 보였다. 비록 본 연구가 OCR에 초점을 둔 개념 증명 성격이지만, 시각-언어 모달리티를 계산 효율 관점에서 재사고할 가능성을 연다.

그림 2 설명

현재 널리 쓰이는 VLM의 전형적 비전 인코더 3형태와 각 결함의 개요.

2. 관련 연구

2.1 VLM에서의 전형적 비전 인코더

오픈소스 VLM들은 세 가지 유형의 비전 인코더를 주로 쓴다(그림 2). 첫째, Vary [36]가 대표하는 듀얼-타워 구조로, SAM [17] 인코더를 병렬로 사용해 고해상도 처리를 위한 비전 어휘 파라미터를 늘린다. 파라미터/활성화 메모리를 제어하기 쉽지만, 이중 이미지 전처리로 배포가 복잡해지고, 학습 중 인코더 파이프라인 병렬화가 어렵다. 둘째, InternVL2.0 [8]이 대표하는 타일 기반 방식으로, 이미지를 작은 타일로 나눠 병렬 처리함으로써 고해상도에서 활성화 메모리를 줄인다. 극고해상도 처리에는 유리하나, 네이티브 인코더 해상도가 낮아(보통 <512×512) 큰 이미지가 과도하게 분절되어 비전 토큰이 매우 많아지는 한계가 있다. 셋째, Qwen2-VL [35]이 대표하는 적응형 해상도 인코딩으로, NaViT + 패러다임을 채택해 타일 병렬화 없이 패치 분할로 전체 이미지를 직접 처리한다. 해상도 다양성에는 유연하지만, 큰 이미지에서는 막대한 활성화 메모리가 필요해 GPU 메모리 초과 위험이 크고, 시퀀스 패킹에도 초장기 시퀀스 길이가 요구된다. 비전 토큰이 길어지면 추론의 프리필과 생성 단계 모두 느려진다.

2.2 End-to-end OCR 모델

특히 문서 파싱을 중심으로 한 OCR은 이미지-투-텍스트 영역에서 매우 활발하다. VLM의 발전과 함께, 전통적 파이프라인(탐지/인식 분리)을 단순화하는 end-to-end OCR 모델이 다수 등장했다. Nougat [6]는 arXiv 논문 OCR에 end-to-end 프레임워크를 최초 적용해 밀집 지각 과제에서 모델의 잠재력을 보였다. GOT-OCR2.0 [38]은 합성 이미지 파싱을 확장하고, 효율-성능 절충을 고려한 OCR 모델을 설계해 end-to-end OCR 연구의 가능성을 부각했다. 또한 Qwen-VL [35], InternVL [8] 등 범용 비전 모델과 파생 모델들은 문서 OCR 능력을 지속 강화하며 밀집 시각 지각의 경계를 탐색하고 있다. 그러나 “1000단어가 들어 있는 문서라면 디코딩에 최소 몇 개의 비전 토큰이 필요한가?”라는 핵심 질문은 아직 답을 얻지 못했다. 이는 “한 장의 그림이 천 마디 말보다 낫다”라는 격언의 원리를 규명하는 데 중요하다.

그림 3 설명

DeepSeek-OCR 아키텍처. DeepEncoder는 윈도우 어텐션 지배의 SAM [17](지각), 글로벌 어텐션이 조밀한 CLIP [29](지식), 그리고 그 사이를 잇는 16× 토큰 압축기의 세 부분으로 구성된다.

3. 방법론

3.1 아키텍처

그림 3과 같이, DeepSeek-OCR은 인코더와 디코더로 이루어진 단일 end-to-end VLM 구조다. 인코더(DeepEncoder)는 이미지 특징을 추출하고, 시각 표상을 토크나이즈/압축한다. 디코더는 이미지 토큰과 프롬프트를 바탕으로 결과를 생성한다. DeepEncoder의 파라미터는 약 380M으로, SAM-base [17](약 80M)와 CLIP-large [29](약 300M)를 직렬로 연결했다. 디코더는 3B MoE [19, 20]이며 활성 파라미터 570M을 사용한다. 이하에서 모델 구성요소, 데이터 엔지니어링, 학습 기법을 상세히 다룬다.

3.2 DeepEncoder

문맥의 광학적 압축 가능성을 탐구하려면 다음을 만족하는 비전 인코더가 필요하다. 1) 고해상도 처리 가능, 2) 고해상도에서도 낮은 활성화 메모리, 3) 적은 비전 토큰, 4) 다중 해상도 입력 지원, 5) 중간 규모 파라미터 수. 그러나 §2.1의 기존 오픈소스 인코더들은 이 요건을 모두 만족하지 못한다. 이에 우리는 DeepEncoder라는 새로운 인코더를 설계했다.

3.2.1 DeepEncoder 구조

DeepEncoder는 크게 두 부분으로 구성된다. (i) 윈도우 어텐션이 지배적인 시각 지각 특징 추출부, (ii) 조밀한 글로벌 어텐션의 시각 지식 특징 추출부. 선행 연구의 프리트레이닝 이득을 활용하기 위해 전자에는 SAM-base(패치 크기 16), 후자에는 CLIP-large를 사용한다. CLIP은 입력이 더 이상 원시 이미지가 아니라 앞단 출력 토큰이므로 첫 패치 임베딩 레이어를 제거한다. 두 컴포넌트 사이에는 Vary [36]를 참고해 2-층 컨볼루션 모듈로 비전 토큰 16× 다운샘플링을 수행한다(커널 3, 스트라이드 2, 패딩 1, 채널 256→1024). 예를 들어 1024×1024 이미지를 입력하면, DeepEncoder는 이를 1024/16×1024/16=4096 패치 토큰으로 분할한다. 전반부는 윈도우 어텐션 위주이면서 약 80M 규모이므로 활성화 비용이 허용 가능하다. 글로벌 어텐션에 들어가기 전, 압축 모듈을 거쳐 토큰 수를 4096/16=256으로 줄여 전체 활성화 메모리를 제어한다.

그림 4 설명

서로 다른 압축률(=필요 비전 토큰 수)을 시험하고 실용성을 높이기 위해 복수 해상도 모드를 구성했다.

표 1 안내

표 1: DeepEncoder의 다중 해상도 지원 — 표 내용 생략(표는 스크린샷으로 대체).

3.2.2 다중 해상도 지원

예컨대 광학 문자 1000개가 있는 이미지를 디코딩하는 데 몇 개의 비전 토큰이 필요한지 실험하려면, 모델은 가변 개수의 비전 토큰을 지원해야 한다. 즉 DeepEncoder는 다중 해상도를 지원해야 한다.

우리는 포지셔널 인코딩의 동적 보간으로 이를 만족시키고, 단일 모델이 다중 해상도를 지원하도록 여러 해상도 모드를 동시에 학습한다(그림 4). DeepEncoder는 네이티브 해상도와 동적 해상도의 두 입력 모드(각각 여러 서브모드)를 지원한다.

네이티브 해상도: Tiny(512×512, 64토큰), Small(640×640, 100), Base(1024×1024, 256), Large(1280×1280, 400). Tiny/Small은 해상도가 작아 리사이즈로 토큰 낭비를 줄이고, Base/Large는 원본 종횡비를 보존하기 위해 패딩한다. 패딩 후 실효 비전 토큰 수는 실제 토큰 수보다 적으며, 다음과 같이 계산한다.

여기서 w, h는 원본 이미지의 가로·세로다.

동적 해상도: 두 개의 네이티브 해상도를 조합한다. 예를 들어 Gundam 모드는 n개의 640×640 타일(로컬 뷰)과 1024×1024 글로벌 뷰로 구성되며, 타일링은 InternVL2.0 [8]을 따른다. 이는 특히 초고해상도(예: 신문) 입력에서의 실용을 염두에 둔 설계로, 2차적 윈도우 어텐션을 통해 활성화 메모리를 더 줄인다. 우리의 네이티브 해상도가 충분히 크므로 과도한 분절을 피할 수 있으며(타일 수 n∈[2,9]), Gundam 모드에서 비전 토큰 수는 n×100+256이다. w,h<640이면 n=0으로 퇴화하여 Base 모드가 된다.

Gundam 모드는 네 가지 네이티브 모드와 함께 동시 학습되어 단일 모델로 다중 해상도를 지원한다. 한편 Gundam-master(로컬 1024×1024 + 글로벌 1280×1280)는 이미 학습된 DeepSeek-OCR에 추가 학습하여 얻는다. 이는 해상도가 너무 커 훈련 속도 저하를 초래하므로 로드 밸런싱을 위한 조치다.

3.3 MoE 디코더

디코더는 DeepSeekMoE [19, 20], 구체적으로 DeepSeek-3B-MoE를 사용한다. 추론 시 64 라우팅 전문가 중 6, 공유 전문가 2가 활성화되어 약 570M 파라미터가 활성화된다. 3B DeepSeekMoE는 영역 중심(VLM에서 본 연구는 OCR) 연구에 적합하며, 3B급 표현력과 500M급 추론 효율을 동시에 제공한다.

디코더는 DeepEncoder의 압축 잠재(비전) 토큰 Z∈R^(n×d_latent) 으로부터 원래 텍스트 표상 X∈R^(N×d_text) 을 복원한다.

비선형 함수 f_dec는 OCR 스타일 학습을 통해 컴팩트한 언어 모델도 효과적으로 습득할 수 있다. 전용 프리트레이닝 최적화를 거친 LLM은 이 능력을 더 자연스럽게 통합할 것으로 추정된다.

3.4 데이터 엔진

DeepSeek-OCR 학습을 위해 다양한 데이터를 구축했다. OCR 1.0(장면/문서 OCR), OCR 2.0(차트·화학식·평면기하 등 인공 이미지 파싱), 범용 비전(일반 이미지 이해), 텍스트 전용 데이터로 구성된다.

3.4.1 OCR 1.0 데이터

문서 데이터는 최우선이다. 인터넷에서 약 100개 언어, 3천만 페이지(PDF)를 수집했으며, 중/영이 약 2500만, 기타 언어가 500만 페이지를 차지한다. 정답(ground truth)은 조(粗)주석과 정(精)주석의 두 유형으로 만든다. 조주석은 fitz로 전체에서 직접 추출해 소수 언어의 광학 텍스트 인식을 학습시킨다. 정주석은 중/영 각 200만 페이지에 대해 고성능 레이아웃 모델(PP-DocLayout [33])과 OCR 모델(MinerU [34], GOT-OCR2.0 [38])을 사용해 탐지-인식 인터리브 데이터를 구성한다. 소수 언어의 탐지에는 레이아웃 모델의 일반화가 유효했고, 인식은 fitz로 작은 패치 데이터를 생성해 GOT-OCR2.0을 학습한 뒤, 레이아웃 처리 후 작은 패치에 자체 모델 라벨링을 수행하는 플라이휠 방식으로 60만 샘플을 확보했다. 학습 시 조/정 라벨은 서로 다른 프롬프트로 구분해 사용한다(정주석 예시는 그림 5). 또한 워드 문서 300만 건에서 내용을 직접 추출해 레이아웃 없는 고품질 이미지-텍스트 페어를 구성했다(수식/HTML 표에 유익). 공개 데이터 [28, 37]도 일부 보강했다.

자연 장면 OCR은 주로 중/영을 지원한다. 이미지 출처는 LAION [31], Wukong [13]이며, PaddleOCR [9]로 라벨링하여 중/영 각각 1천만 샘플을 수집했다. 문서 OCR과 마찬가지로 프롬프트로 탐지 박스 출력 여부를 제어할 수 있다.

그림 5 설명

OCR 1.0 정주석 예시. 각 문단 앞에 원본 이미지에서의 좌표와 라벨을 배치한 레이아웃-텍스트 인터리브 형식(좌표는 1000-bin 정규화).

3.4.2 OCR 2.0 데이터

GOT-OCR2.0 [38]을 따라, 차트, 화학식, 평면기하 파싱 데이터를 OCR 2.0으로 묶는다. 차트는 OneChart [7]를 참고해 pyecharts와 matplotlib로 1천만 장을 렌더링(막대/선/원형/복합 차트). 우리는 차트 파싱을 이미지→HTML 표 변환 과제로 정의한다(그림 6(a)). 화학식은 PubChem의 SMILES를 데이터 소스로 사용해 RDKit으로 이미지를 렌더링, 500만 이미지-텍스트 페어를 만들었다. 평면기하는 Slow Perception [39]을 따라 perception-ruler 크기를 4로 하여 각 선분을 모델링하고, 평행이동 불변 증강으로 같은 기하 이미지를 원본 이미지 내에서 이동시켜 좌표계 중앙에 동일 GT가 그려지도록 했다. 이를 통해 100만 개의 평면기하 데이터를 구성했다(그림 6(b)).

그림 6 설명

차트는 OneChart의 딕셔너리 포맷 대신 HTML 표 라벨을 사용해 토큰 절약. 평면기하는 선분/끝점 좌표/선분 유형 등 키를 갖는 딕셔너리로 변환해 가독성을 높였고, 선분 인코딩은 Slow Perception [39] 방식을 따른다.

3.4.3 범용 비전 데이터

DeepEncoder는 CLIP 프리트레이닝 이득을 활용하고, 범용 시각 지식까지 담을 파라미터가 충분하다. 따라서 DeepSeek-VL2 [40]를 따라 캡션/탐지/그라운딩 등 데이터를 일부 준비했다. DeepSeek-OCR은 범용 VLM이 아니므로 이 부분은 전체의 20%에 불과하며, 향후 관련 연구자들이 범용 비전 인터페이스를 유지한 채 작업을 이어가도록 하기 위한 목적이다.

3.4.4 텍스트 전용 데이터

언어 능력을 보장하기 위해 사내 텍스트 전용 프리트레인 데이터 10%를 도입했다. 모든 데이터는 길이를 8192 토큰으로 맞췄으며, 이는 DeepSeek-OCR의 시퀀스 길이이기도 하다. 요컨대 DeepSeek-OCR 학습 시, OCR 70%, 범용 비전 20%, 텍스트 전용 10%의 비중을 사용한다.

3.5 학습 파이프라인

파이프라인은 간단히 두 단계다. a) DeepEncoder 단독 학습, b) DeepSeek-OCR 전체 학습. Gundam-master는 사전 학습된 DeepSeek-OCR에서 600만 샘플로 추가 학습해 얻으며, 프로토콜은 동일하므로 상세는 생략한다.

3.5.1 DeepEncoder 학습

Vary [36]를 따라 컴팩트 LLM [15]과 다음 토큰 예측 프레임워크로 DeepEncoder를 학습한다. 앞서 언급한 OCR 1.0/2.0 전부와 LAION [31] 1억의 범용 데이터를 사용한다. 2 epoch, 배치 1280, AdamW [23], 코사인 스케줄러 [22], 러닝레이트 5e-5, 시퀀스 길이 4096으로 학습한다.

3.5.2 DeepSeek-OCR 학습

DeepEncoder 준비 후 §3.4의 데이터를 사용해 HAI-LLM [14] 플랫폼에서 전체 모델을 학습한다. 모델은 파이프라인 병렬(PP) 4파트로 나누며, DeepEncoder 2파트 + 디코더 2파트로 구성한다. DeepEncoder에서 SAM+압축기는 비전 토크나이저(PP0)로 배치해 동결, CLIP은 입력 임베딩(PP1)으로 배치해 학습한다. 언어 모델 DeepSeek3B-MoE 12층은 PP2/PP3에 6층씩 배치한다. 20 노드(각 8×A100-40G), 데이터 병렬(DP) 40, 글로벌 배치 640으로 학습한다. AdamW, 스텝 기반 스케줄러, 초기 LR 3e-5. 텍스트 전용 데이터에서는 90B 토큰/일, 멀티모달은 70B 토큰/일 속도를 달성한다.

표 2 안내

표 2: Fox 영어 문서(600–1300 토큰)에서의 비전-텍스트 압축률 시험 — 표 내용 생략(표는 스크린샷으로 대체).

4. 평가

4.1 비전-텍스트 압축 연구

Fox [21] 벤치마크의 텍스트 풍부 문서를 사용해 DeepSeek-OCR의 압축-복원 능력을 검증한다. 영어 문서의 정답 텍스트를 DeepSeek-OCR의 토크나이저(약 129k 어휘)로 토크나이즈해 600–1300 토큰 문서를 100페이지 선별했다. 텍스트 토큰 수가 크지 않으므로 Tiny(64 토큰)와 Small(100 토큰)만 평가했다. 출력 포맷 제어를 위해 프롬프트 without layout: "<image>\nFree OCR." 를 사용했다. 다만 Fox의 정답 포맷과 완전 일치하진 않아, 실제 성능은 표기보다 다소 더 높다.

10× 압축 내에서는 약 97% 정밀도라는 매우 고무적 결과를 얻었다. 향후 텍스트→이미지 렌더링으로 10× 무손실에 가까운 문맥 압축이 가능할 수 있다. 10×를 넘어서면 성능이 하락하는데, (i) 긴 문서의 레이아웃 복잡화, (ii) 512×512/640×640에서 장문 텍스트가 블러지는 현상이 원인일 수 있다. (i)는 텍스트를 단일 레이아웃 페이지에 렌더링하는 방식으로 완화 가능하며, (ii)는 망각 메커니즘의 한 특성으로 볼 수도 있다. 약 20× 압축에서도 정밀도가 60% 내외를 유지한다. 이는 VLM 인프라를 활용하므로(멀티모달 시스템은 본래 비전 인코더를 추가로 쓰므로) 오버헤드 없이 문맥 광학 압축이 매우 유망함을 시사한다.

표 3 안내

표 3: OmniDocBench 성능(편집거리↓), DeepSeek-OCR 및 비교 모델 결과 — 표 내용 생략(표는 스크린샷으로 대체).

4.2 OCR 실용 성능

DeepSeek-OCR은 실험 모델에 그치지 않고 LLM/VLM 프리트레이닝 데이터 생성 등 실용성이 강하다. OmniDocBench [27]에서, 100 비전 토큰(640×640)만으로 256 토큰을 쓰는 GOT-OCR2.0 [38]을 능가하고, 400 토큰(유효 285, 1280×1280)에서 최신 모델들과 동급을 달성한다. 800 미만 토큰(Gundam)으로 약 7000 토큰을 쓰는 MinerU2.0 [34]보다도 우수하다. 높은 토큰 압축 덕분에 연구 상한 또한 높다.

표 4 안내

표 4: OmniDocBench 문서 유형별 편집거리 — 표 내용 생략(표는 스크린샷으로 대체).

4.3 정성적 연구

4.3.1 딥 파싱

DeepSeek-OCR은 레이아웃+OCR 2.0 능력을 바탕으로, 2차 모델 호출을 통해 문서 내 이미지를 추가로 파싱할 수 있다(딥 파싱). 그림 7–10처럼, 차트·기하·화학식·자연 이미지에 대해 하나의 통일 프롬프트만으로 딥 파싱이 가능하다.

그림 7 설명

금융 리포트 분야에서, 딥 파싱 모드는 문서 내 차트의 구조화 결과를 얻는 데 유용하다. 차트는 금융/과학 분야의 핵심 표현 양식이며, 차트 구조 추출은 미래 OCR 모델의 필수 능력이다.

그림 8 설명

책/기사에서, 딥 파싱 모드는 문서 내 자연 이미지의 조밀 캡션을 출력할 수 있다. 프롬프트 한 줄로 이미지 유형을 자동 판별하고, 요구 결과를 출력한다.

그림 9 설명

딥 파싱 모드는 화학 문서 내 화학식을 인식해 SMILES로 변환할 수 있다. 장차 OCR 1.0+2.0 기술은 STEM 분야 VLM/LLM 발전에 중요한 역할을 할 수 있다.

그림 10 설명

DeepSeek-OCR은 단순 평면도형을 복사(구조화)하는 능력도 갖췄다. 도형에서 선분 간 복잡한 상호의존성 때문에 기하 파싱은 매우 어려우며, 여전히 갈 길이 멀다.

4.3.2 다국어 인식

인터넷의 PDF는 중/영뿐 아니라 다국어가 많으며, LLM 학습에 중요하다. DeepSeek-OCR은 PDF 문서에서 약 100개 언어를 처리할 수 있다. 중/영과 마찬가지로 레이아웃/비레이아웃 두 포맷을 모두 지원한다(시각화: 그림 11, 아랍어·싱할라 예시).

4.3.3 일반 비전 이해

또한 일정 수준의 일반 이미지 이해 능력을 유지했다(그림 12). 이미지 설명, 객체 탐지, 그라운딩 등을 포함하며, 텍스트 전용 데이터 덕분에 언어 능력도 유지된다. SFT(지도미세튜닝) 단계를 포함하지 않았으므로 챗봇은 아니며, 일부 능력은 완성 프롬프트로 활성화해야 한다.

5. 논의

본 연구는 비전-텍스트 압축의 경계—즉 N개 텍스트 토큰을 디코딩하는 데 필요한 비전 토큰 수—를 초기 탐색했다. 결과는 고무적이다. 약 10× 압축에서 준-무손실 OCR을 달성했고, 20×에서도 60% 정확도를 유지했다. 예컨대 다중 턴 대화에서 k 라운드를 넘는 과거 이력을 광학적으로 처리해 10× 효율을 얻는 등 응용 가능성이 보인다.

더 오래된 문맥은 렌더링된 이미지를 점진적으로 더 작게 만들어 토큰 소모를 추가로 줄일 수 있다. 이는 시간에 따른 인간 기억의 자연 퇴색과 거리 증가에 따른 시각 인지 저하의 유사성에서 영감을 얻은 가설이다(그림 13). 두 메커니즘을 결합하면, 최근 정보는 고충실로 유지하고 오래된 정보는 압축률 증가로 자연 소멸되는, 생물학적 망각 곡선과 유사한 메모리 감쇠를 구현할 수 있다.

초기 단계이긴 하지만, 최근 문맥은 고해상도로 보존하고 오래된 문맥은 더 적은 자원을 쓰는, 스케일러블 초장기 문맥 처리를 위한 가능성을 보여준다. 이 접근은 이론상 무제한 문맥을 향한 경로를 시사하나, 실제 제약과 한계는 추가 연구가 필요하다.

그림 13 설명

망각 메커니즘은 인간 기억의 본질적 특성이다. 문맥 광학 압축은 과거 대화 이력을 이미지로 렌더링해 1차 압축 후, 더 오래된 이미지는 점차 더 작게 리사이즈하여 다단계 압축을 수행함으로써, 토큰 수가 점차 감소하고 텍스트가 점점 흐려지는 텍스트 망각을 모사할 수 있다.

6. 결론

본 기술 보고서는 DeepSeek-OCR을 제안하고, 이를 통해 문맥 광학 압축의 실현 가능성을 예비 검증했다. 소수의 비전 토큰으로 10배 이상의 텍스트 토큰을 효과적으로 디코딩할 수 있음을 보였다. 이는 향후 VLM/LLM 발전을 촉진하리라 본다. 또한 DeepSeek-OCR은 대규모 프리트레이닝 데이터 생산이 가능한 실용 모델로서 LLM의 든든한 조력자가 될 수 있다. 물론 OCR만으로는 진정한 문맥 광학 압축을 전면 검증하기 어렵기 때문에, 향후 디지털-광학 텍스트 인터리브 프리트레이닝, needle-in-a-haystack 테스트 등 다양한 평가를 진행할 것이다. 다른 관점에서 보더라도, 문맥 광학 압축은 아직 연구 여지가 매우 크고 유망한 새 방향이다.

GPT-5-Pro 번역

원문 링크

[익명(bam9398)]

[구름냥이(gurumnyang)]

어우 어렵다

[익명(sock7225)]

전라도 좌파 인간들이 너무 싫어

[구름냥이(gurumnyang)]

@ㅇㅇ 전라도 좌파랑 손잡고 화해해

[이세이미야케(jkwarawara)]

[천사다천사(jjtheman999)]

[asi2026(dart5404)]

[ㅇㅇ 1(121.159)]

요약 : 컨텍스트 과부하 막으려고 긴 텍스트를 이미지로 변환 후 압축하여 Ai에게 제공하는 방식을 사용.

[익명(kgdev)]

마치 사람이 기억을 텍스트로 저장하는게 아니라 그때 사진처럼 이미지 화 해서 저장하는 방식이 생각나네

[FISC(0shuhun)]

그래서 광학적인거구나

[천상열차(annoy6122)]

[Asi(worship5388)]

개추

[슈피슈와(lastly7348)]

[익명(decent9255)]

본받아라 closeai야

[ㅇㅇ 2(211.219)]

한줄요약 : 백문이 불여일견은 AI에도 적용된다

[ㅇㅇ 3(39.117)]

오 여기 양질의 갤러리였네

[HMX-13(multizzang)]

[미붕이(118.38)]

결론 : 잘 정리된 노트필기는 AI한테도 도움이 된다

[OptiGPT(testify0628)]

진짜 개신기하네 기계지능은 정말 인간이랑 같을 필요가 없구나

[ㅇㅇ 4(124.51)]

오히려 논문은 인간처럼 입력을 텍스트조차 이미지 형식으로 받아서 따로 텍스트, 이미지 나눌 필요가 없다는거 아닌가?

[OptiGPT(testify0628)]

@ㅇㅇ4(124.51) 내가 잘 못 이해한 걸 수도 있는데 인간은 글을 읽을 때 절대 한 문단을 한번에 읽을 수 없음. 그런데 저 논문에선 수십줄의 텍스트를 한장의 이미지로 압축해서 토큰으로 넣어도 수십줄 텍스트 넣은거랑 큰 성능 차이 없다는 얘기니깐 인간이랑 다르다고 생각한거야.

[하드소서(121.65)]

기존 방식보다 훨씬 더 인간적인 건데? 잘 읽어봐.

[익명(course2187)]

[익명(tragedy7204)]

[하드소서(121.65)]

중국이 미래다!