[📪정보] Doubao 1.5 pro, 새로운 중국의 모델(AIME o1 뛰어넘음)

[초존도초(htr3c654r6ft)]

Doubao-1.5-pro

Doubao-1.5-pro 모델은 MoE 아키텍처를 사용하며, 훈련-추론 통합 설계를 통해 모델 성능과 추론 성능 간의 최적의 균형점을 탐색합니다. Doubao-1.5-pro는 더 적은 활성 파라미터만으로도 최고 수준의 초대형 밀집 사전 훈련 모델의 성능을 능가하며, 여러 평가 벤치마크에서 뛰어난 성적을 거두었습니다.

성능 평가

이번 업데이트를 통해 Doubao-1.5-pro 기초 모델의 능력이 전반적으로 향상되었으며, 여러 공개 평가 벤치마크에서 뛰어난 성능을 보였습니다.

Doubao-1.5-pro의 다양한 벤치마크 결과

모델        MMLU (5-shot) C-Eval (5-shot) GSM8K (8-shot) HumanEval

Doubao-1.5-pro  83.7             89.8            95.2                  92.1

GPT4o-0806    81.6              86.4             93.4                  88.7

GPT4-Turbo-1106  80.9              85.2             89.9                  83.5

Gemini-1.5-pro       80.2              85.1             86.5                  80.9

Claude-3-Opus        83.1              87.3            92.3                  86.8

표에서 다른 모델의 평가 지표는 공식 평가 결과에서 가져왔으며, 공식 평가 결과에 없는 부분은 내부 평가 플랫폼 결과에서 가져왔습니다.

GPT4o-0806은 언어 모델 공개 평가 지표에서 GPT4o의 다른 버전보다 현저히 뛰어납니다. 자세한 내용은 다음 링크를 참조하십시오: https://github.com/openai/simple-evals

모델 성능과 추론 성능의 최적 균형

모델은 사전 훈련 단계부터 훈련-추론 통합 설계를 고수하여, 최고 수준의 모델 성능과 최적의 추론 비용 사이의 균형을 이루고자 했습니다.

효율적인 MoE 모델 구조

훈련 및 추론 효율성 측면에서 Doubao-1.5-pro는 희소 MoE 아키텍처를 사용합니다. 사전 훈련 단계에서 더 적은 파라미터만 활성화하는 MoE 모델로도 Llama3.1-405B와 같은 초대형 밀집 사전 훈련 모델의 성능을 능가할 수 있습니다. 저희 팀은 희소도 스케일링 법칙(Scaling Law) 연구를 통해 성능과 효율성이 비교적 균형을 이루는 희소 비율을 결정했으며, MoE 스케일링 법칙에 따라 적은 파라미터 활성화 모델로도 세계 최고 수준의 모델 성능에 도달할 수 있음을 확인했습니다.

훈련 손실(loss) 그래프

MoE 모델의 성능은 일반적으로 동일한 성능을 보이는 밀집 모델의 총 파라미터 양과 MoE 모델의 활성 파라미터 양의 비율로 결정할 수 있습니다. 예를 들어 IBM의 Granite 시리즈 모델에서 8억 개(800M) 파라미터가 활성화된 MoE 모델은 총 20억 개(2B) 파라미터의 밀집 모델과 비슷한 성능을 낼 수 있으며, 성능 비율은 약 2.5배(2000M/800M)입니다. 이전에는 업계에서 이 성능 레버리지의 일반적인 수준이 3배 미만이었습니다. 저희 팀은 모델 구조와 훈련 알고리즘 최적화를 통해 완전히 동일한 부분의 훈련 데이터(9T 토큰)를 비교 검증한 결과, 활성 파라미터가 밀집 모델 파라미터 양의 1/7에 불과한 MoE 모델로 밀집 모델의 성능을 능가하여 성능 레버리지를 7배까지 향상시켰습니다.

Performance 비교 그래프

Doubao-Dense와 Doubao-MoE는 모두 9T 토큰 데이터의 단계별 결과이며, 데이터 분포는 완전히 동일합니다. MoE 모델의 성능은 전체 파라미터 양이 MoE 활성 파라미터 양의 7배인 밀집 모델보다 약간 우수합니다.

Llama3.1-405B는 15T 토큰 데이터의 최종 결과이며, 데이터 분포는 Doubao 모델과 다릅니다. Doubao 밀집 모델의 파라미터 양 또한 Llama3.1-405B보다 훨씬 작습니다. 결과에서 볼 수 있듯이 Doubao 사전 훈련의 데이터 품질과 훈련 하이퍼파라미터가 더 우수합니다. MoE 모델의 전체 훈련 후 성능은 9T 토큰 데이터의 중간 버전보다 훨씬 더 크게 향상되었습니다.

사전 훈련 모델을 기반으로 알고리즘 팀은 일련의 모델 파라미터 동적 조정 알고리즘을 설계했습니다. 모델 심도, 너비, MoE 전문가 수, 활성 전문가 수, 숨겨진 토큰 추론 등 다양한 차원에서 모델 파라미터를 확장 및 축소하여 모델 성능에 대한 구체적인 애플리케이션의 요구 사항을 충족하고 모델 능력과 추론 비용 간의 최적의 균형을 달성할 수 있습니다. 동시에, 더 작은 사전 훈련 모델은 팀의 반복 개발 효율성을 높여 여러 제품 라인을 동시에 지원할 수 있습니다.

고성능 추론 시스템

Doubao-1.5-pro는 고도로 희소한 MoE 모델이며, Prefill/Decode와 Attention/FFN으로 구성된 4개의 계산 영역에서 뚜렷하게 다른 계산 및 메모리 접근 특징을 보입니다. 4개의 서로 다른 영역에 대해 이기종 하드웨어와 다양한 저정밀도 최적화 전략을 결합하여 낮은 지연 시간을 보장하면서 처리량을 크게 향상시키고, 총비용을 절감하면서 TTFT(Time To First Token)와 TPOT(Tokens Per Output Token)의 최적화 목표를 동시에 달성합니다.

서로 다른 단계의 계산 및 메모리 접근 특징

Prefill 단계: 통신 및 메모리 접근 병목 현상은 뚜렷하지 않지만, 계산 병목 현상이 발생하기 쉽습니다. LLM 단방향 어텐션의 특징을 고려하여 다양한 계산/메모리 접근 비율이 높은 장비에서 Chunk-PP Prefill Serving을 수행하여 온라인 시스템 Tensor Core 활용률을 60%에 가깝게 유지합니다.

Prefill Attention: MMA/WGMMA 등 명령어 확장을 사용하여 오픈 소스 FlashAttention 8-bit 구현을 확장하고, Per N tokens Per Sequence 양자화 전략과 결합하여 이 단계가 다양한 아키텍처의 GPU에서 손실 없이 실행되도록 보장합니다. 동시에, 다양한 길이의 분할된 어텐션 소요 시간을 모델링하고 동적 쿼리 배치(Query Batching) 전략과 결합하여 Chunk-PP Serving 시 카드 간 균형을 실현하고, 부하 불균형으로 인한 유휴 시간을 효과적으로 제거합니다.

Prefill FFN: W4A8 양자화를 채택하여 희소 MoE 전문가의 메모리 접근 오버헤드를 효과적으로 줄이고, 쿼리 배치 전략을 통해 FFN 단계에 더 많은 입력을 제공하여 MFU(Model FLOPs Utilization)를 0.8까지 향상시킵니다.

Decode 단계: 계산 병목 현상은 뚜렷하지 않지만, 통신 및 메모리 접근 능력에 대한 요구 사항이 비교적 높습니다. 저희는 계산/메모리 접근 비율이 낮은 장비 Serving을 사용하여 더 높은 ROI(투자 수익률)를 확보하는 동시에, 매우 낮은 비용의 샘플링 및 Speculative Decoding 전략을 채택하여 TPOT 지표를 낮춥니다.

Decode Attention: TP(Tensor Parallelism) 방식으로 배포하고, 휴리스틱 검색 및 적극적인 장문 분할 전략을 통해 단일 배치 내에서 다양한 쿼리 KV 길이 차이가 큰 일반적인 시나리오를 최적화합니다. 정확도 측면에서는 여전히 Per N tokens Per Sequence 양자화 방식을 채택합니다. 또한, 무작위 샘플링 과정에서 어텐션 계산을 최적화하여 KV 캐시가 한 번만 액세스되도록 보장합니다.

Decode FFN: W4A8 양자화를 유지하고 EP(Expert Parallelism) 방식으로 배포합니다.

전반적으로 PD(Prefill-Decode) 분리 Serving 시스템에서 다음과 같은 최적화를 구현했습니다.

텐서 전송을 위해 맞춤화된 RPC 백엔드를 통해 제로 카피, 다중 스트림 병렬 처리 등 수단을 사용하여 TCP/RDMA 네트워크에서 텐서 전송 효율성을 최적화하고, PD 분리 환경에서 KV 캐시 전송 효율성을 향상시킵니다.

Prefill 및 Decode 클러스터의 유연한 비율 조정 및 동적 확장/축소를 지원하고, 각 역할에 대해 독립적으로 HPA(Horizontal Pod Autoscaler) 탄력적 확장을 수행하여 Prefill과 Decode 모두에 불필요한 컴퓨팅 자원이 없도록 보장하며, 양쪽의 컴퓨팅 자원 비율이 온라인 실제 트래픽 패턴에 부합하도록 합니다.

프레임워크에서 GPU 계산과 CPU 전후 처리를 비동기화하여 GPU 추론 N단계에서 CPU가 N+1단계 커널을 미리 실행하도록 함으로써 GPU가 항상 최대한 활용되도록 유지하고, 전체 프레임워크 처리 동작이 GPU 추론에 미치는 오버헤드를 0으로 만듭니다.

또한, 자체 개발 서버 클러스터 솔루션을 통해 저비용 칩을 유연하게 지원하여 하드웨어 비용을 업계 솔루션보다 크게 절감했습니다. 저희는 맞춤형 네트워크 카드와 자체 개발한 네트워크 프로토콜을 통해 작은 패킷 통신 효율성을 크게 최적화했습니다. 연산자 수준에서 계산과 통신의 효율적인 중첩(Overlap)을 구현하여 다중 시스템 분산 추론의 안정성과 효율성을 보장했습니다.

탄탄한 데이터 라벨링, 지름길을 택하지 않고 묵묵히

PostTraining(사후 훈련) 단계에서 저희는 고도로 자율적인 데이터 생산 시스템을 정교하게 구축했습니다. 이 시스템은 효율적인 라벨링 팀과 모델 자체 개선 기술의 심층적인 융합을 통해 지속적이고 정확하게 데이터 품질을 최적화하며, 내부 표준을 엄격히 준수하고, 지름길을 택하지 않고, 다른 모델의 데이터를 전혀 사용하지 않아 데이터 출처의 독립성과 신뢰성을 보장합니다.

SFT(Supervised Fine-Tuning, 지도 미세 조정) 단계에서 훈련 데이터 다양성 최적화 및 정확한 인간-문제 매칭 기능을 포함하는 알고리즘 기반의 훈련 데이터 최적화 시스템을 개발하고, 모델 자체 진. 화(Self-evolve) 기술과 결합하여 데이터 라벨링의 다양성과 난이도를 높여 모델 성능 향상의 선순환 구조를 형성했습니다.

Reward Model(보상 모델) 부분에서는 프롬프트 분포 최적화, 응답 필터링, 다중 라운드 반복 및 능동 학습을 포함하는 완전한 데이터 생산 파이프라인을 구축했습니다. 동등한 규모의 합성 데이터와 마이닝 데이터를 융합하여 데이터 충돌 및 패턴 해킹 문제를 효과적으로 방지했습니다. 다단계 보상 모델 훈련 프레임워크를 설계하여 다양한 데이터 분포에서 모델의 안정적인 판단 능력을 구현했습니다. 기울기 필터링 및 반복 필터링 기술을 기반으로 전체 데이터의 25%만 사용하여 전체 데이터와 거의 동일한 훈련 효과를 달성하여 반복 효율성을 높였습니다. Verifier와 Reward Model을 심층적으로 융합하여 통합 보상 프레임워크를 구축하여 수학, 프로그래밍, 지식, 대화 등 다양한 차원에서 모델 능력의 균형 잡힌 향상을 실현했습니다. 전통적인 판별식 RM(Reward Model)과는 다른 생성식 RM 모델링 방법을 제시하여 OOD(Out-of-Distribution) 일반화 성능 및 보상 해킹 방어 능력을 크게 향상시켰습니다.

RL(Reinforcement Learning, 강화 학습) 단계에서는 veRL을 기반으로 고도로 병렬화된 다중 역할 훈련-추론 통합 프레임워크를 구축하여 다양한 유형의 데이터 및 보상 방식을 호환합니다. 자율 적응 데이터 분포 조정 메커니즘을 통해 다중 작업 훈련의 충돌 문제를 해결했습니다. 가치 함수 훈련의 어려움을 극복하고 토큰 단위의 안정적인 모델링을 구현하여 수렴 속도를 4배 향상시키고, 고난도 작업에서 성능을 10%p 이상 향상시켰습니다. 대조 학습 방법을 통해 LLM의 성능을 효과적으로 향상시키고 보상 해킹 문제를 크게 완화했습니다. 데이터, 알고리즘, 모델 수준에서 전면적인 스케일링을 구현하여 컴퓨팅 파워를 지능으로 효과적으로 전환했습니다.

또한, 추천, 검색 및 광고 분야에서 바이트댄스가 축적한 AB 테스트 경험을 바탕으로 사용자 피드백 기반의 효율적인 PostTraining 전체 프로세스를 개발했습니다. Doubao의 대규모 사용자 피드백을 기반으로 문제 발견, 데이터 마이닝, 인간-기계 결합 라벨링부터 빠른 반복까지의 폐쇄 루프 최적화 시스템을 구축하고, 사용자 데이터 플라이휠을 통해 모델의 실제 사용 경험을 지속적으로 향상시키고 있습니다.

다중 모달 능력의 전면적인 향상

Doubao-1.5-pro는 동일한 모델에 시각, 음성 등 다중 모달 능력을 융합하고 향상시켜 사용자에게 더욱 자연스럽고 풍부한 상호 작용 경험을 제공할 수 있습니다.

시각 다중 모달: 성능의 추가적인 향상, 더욱 복잡한 상황에 유연하게 대처

시각 측면에서 Doubao-1.5-pro는 이전 버전에 비해 다중 모달 데이터 합성, 동적 해상도, 다중 모달 정렬, 혼합 훈련에서 전반적인 기술적 향상을 이루어 시각적 추론, 텍스트 문서 인식, 세밀한 정보 이해, 명령어 추종 등 측면에서 모델의 능력을 더욱 강화하고 모델의 응답 패턴을 더욱 간결하고 사용자 친화적으로 만들었습니다. 강력한 시각 이해 능력을 동일한 모델에 통합하여 모델이 가상 세계와 현실 세계의 다양한 시각 신호를 동시에 이해하고 인간의 의사 결정을 더 효과적으로 지원할 수 있도록 합니다.

Doubao-1.5-pro의 시각적 추론 능력은 탁월하며, 다양한 평가 벤치마크에서 뛰어난 성과를 거두었습니다.

Doubao-1.5-pro의 다양한 시각 벤치마크 결과

모델              VQA-v2   VizWiz   TextVQA  DocVQA

------------------ ------ ------ -------- ------

Doubao-1.5-pro     84.5   74.3     81.2    82.7

GPT4o-1120        83.9   72.1     79.6    81.3

Gemini-1.5-pro     80.1   68.4     75.2    76.9

Claude-3-Opus      82.3   71.5     78.9    80.5

평가에서 GPT4o-1120은 다중 모달 능력에서 GPT4o-0806보다 뛰어납니다.

효율적인 네이티브 동적 해상도 훈련

해상도 문제는 항상 시각 이해 능력에 영향을 미치는 핵심 요소였으며, 특히 가상 세계에서 정보 이해는 해상도의 영향을 더욱 크게 받습니다. 다양한 시나리오의 복잡한 이미지 입력에 대응하기 위해 Doubao-1.5-pro는 네이티브 동적 해상도 아키텍처 설계를 채택하여 임의의 해상도 이미지 입력을 지원합니다. 고화질 대형 이미지든 저해상도 소형 이미지든, 극단적인 가로 세로 비율의 이미지든 모델은 정확한 특징 추출과 효율적인 계산 성능을 실현할 수 있습니다. 네이티브 해상도 설계 덕분에 새로운 모델은 문서 인식, 세밀한 정보 인식 등 작업에서 효과가 크게 향상되었습니다.

저희가 자체 개발한 동적 해상도를 지원하는 Doubao ViT는 다양한 시각 분류 작업에서 뛰어난 성능을 보이며, 단 24억 개(2.4B) 규모로 종합 점수에서 SOTA(State-of-the-Art, 최고 수준) 성능을 달성하여 자체 규모의 7배에 달하는 모델의 효과를 능가합니다.

Doubao ViT의 다양한 시각 분류 작업에서의 성능

모델                 ImageNet-1K Top-1   ImageNet-Real Top-1   INaturalist Top-1   종합 점수

-------------------- ------------------- --------------------- ------------------- --------

Doubao ViT (2.4B)            91.2                94.5                  92.7                92.8

SwinV2-G (17B)               90.4                93.7                  91.9                92.0

동적 해상도 훈련 과정에서 VLM(Vision Language Model, 시각 언어 모델)의 시각 인코더 부분의 부하 불균형 문제를 완화하기 위해 저희는 훈련 Infra(인프라)에서 동적 해상도에 특화된 순방향 및 역방향 부하 최적화 알고리즘을 정교하게 설계하여 통신 전송을 통해 불균형 계산으로 인한 동기화 대기 시간을 줄여 전체 훈련 처리량을 60% 이상 향상시켰습니다.

다양한 데이터 합성 파이프라인

주로 인터넷에서 얻는 순수 텍스트 말뭉치에 비해 VLM에 필요한 이미지-텍스트 데이터 획득은 더욱 복잡하며, 인터넷 데이터를 정제하고 가공하기 위한 더욱 정밀한 데이터 파이프라인이 필요하며, 심지어 처음부터 합성 데이터를 구축해야 할 수도 있습니다. Doubao-1.5-pro에서는 검색 엔진에서 얻는 대량의 이미지-텍스트 쌍 및 이미지-텍스트 혼합 데이터 외에도 렌더링 엔진, 전통적인 컴퓨터 비전 모델, 모델 자체 반복 등 다양한 데이터 합성 방식을 채택하여 고품질의 다중 모달 사전 훈련 데이터를 획득합니다.

텍스트와 시각 이해 혼합 훈련

Doubao-1.5-pro의 시각 능력과 언어 능력을 동시에 향상시키기 위해 저희는 VLM의 여러 훈련 단계에서 일정 비율의 순수 텍스트 데이터를 혼합하고, 학습률을 동적으로 조정하는 방법을 통해 시각 능력과 언어 능력의 균형을 유지하여 모델의 언어 능력이 손실되지 않도록 보장합니다. PostTraining 단계에서도 다중 모달 부분은 완전히 자체적으로 제어 가능한 데이터 파이프라인을 갖추고 있습니다. 저희는 인공 라벨링과 자체 모델 데이터 합성 방식을 활용하여 다중 모달 선호도 데이터 세트를 구축하고, 텍스트 데이터와 함께 훈련합니다. 동시에, 저희는 대부분의 사후 훈련 컴퓨팅 파워와 데이터 작업을 RL 단계에 집중하고, 다양한 유형의 프롬프트에 따라 서로 다른 선호도 기준을 설정하고, 길이 선호도 영향을 제거한 RM 훈련 세트를 구축하여 응답 정확도, 길이 및 정보량 간의 균형을 맞춰 다중 모달 모델의 응답이 최대한 정확하고 실용적인 전제 하에 간결함을 유지하도록 합니다.

효과 데모

음성 다중 모달: 이해 생성 통합, 높은 공감 능력과 지능

음성 다중 모달 측면에서 저희는 새로운 Speech2Speech 엔드 투 엔드 프레임워크를 제시했습니다. 이 프레임워크는 네이티브 방식으로 음성 및 텍스트 모달을 심층적으로 융합할 뿐만 아니라, 음성 대화에서 진정한 의미의 음성 이해-생성 엔드 투 엔드를 실현하여 기존의 ASR+LLM+TTS의 연쇄 방식에 비해 대화 효과에서 질적인 도약을 이루었습니다. Doubao-1.5-pro는 높은 이해력(높은 지능)을 가질 뿐만 아니라, 음성 표현력과 제어력, 그리고 모델 전체의 응답 내용과 음성 측면에서 높은 감정 수용 능력을 갖추고 있습니다.

프레임워크 설계에서 저희는 음성 및 텍스트 토큰을 융합하여 음성 다중 모달 데이터의 스케일링을 위한 필수 조건을 제공했습니다. Pretrain 단계에서 저희는 다양한 데이터 생산 및 사용 방식을 개발하고, 훈련에서 다양한 효과적인 솔루션을 탐색하여 스케일링을 통해 음성 및 텍스트 능력을 최대한 심층적으로 융합했습니다. PostTraining 단계에서는 높은 표현력과 지능 데이터를 균형 있게 융합하고, 데이터 필터링 및 다중 모달 RL 단계의 전문적인 능력 향상을 통해 모델이 지능, 음성 표현력 등 다양한 측면에서 최적의 수준에 도달하도록 했습니다.

지능의 경계 탐색

Doubao 심층 사고 모드

추론 능력은 지능의 중요한 구성 요소입니다. 저희 팀은 대규모 RL 방법을 사용하여 모델의 추론 능력을 지속적으로 향상시키고 현재 모델의 지능 경계를 넓히기 위해 노력하고 있습니다. 다른 모델 데이터를 전혀 사용하지 않는 조건에서 RL 알고리즘의 혁신과 엔지니어링 최적화를 통해 테스트 시간 스케일링의 컴퓨팅 파워 이점을 충분히 활용하여 RL 스케일링을 완료하고 Doubao 심층 사고 모드를 개발했습니다.

Doubao-1.5-pro-AS1-Preview의 AIME 평가 결과

현재 단계별 진행 상황 Doubao-1.5-pro-AS1-Preview는 AIME에서 이미 O1-preview, O1 등 추론 모델을 능가했습니다. 또한, RL이 지속됨에 따라 모델 능력은 계속 향상되고 있습니다. 이 과정에서 저희는 추론 능력이 다양한 분야로 일반화되는 것을 확인했으며, 지능의 경계는 서서히 넓혀지고 있습니다.

추론 능력의 초기 일반화

지능의 무한한 가능성을 향해 출발

豆包(Doubao) 대형 모델 팀은 항상 지능의 무한한 경계를 탐색하고, 범용 지능의 무한한 가능성을 여는 것을 목표로 삼고 있습니다. 동시에, 저희는 지능의 경계 탐색과 사용자 및 산업 서비스는 통합적인 관계이며, 서로에게 이익이 되고 양방향으로 추진될 수 있다고 생각합니다. 앞으로 저희 팀은 대형 모델 기초 연구에 대한 투자를 계속 강화하고, 더 긴 주기의, 획기적인 범용 지능 연구 과제에 도전할 것입니다.

https://team.doubao.com/zh/special/doubao_1_5_pro

[익명(61.80)]

또 짜장이야?

[메론맛콜라가먹고싶어(victim4811)]

동네북이누 ㅋㅋ

[익명(conceive2774)]

라마4 o3 뭐하냐 - dc App

[익명(58.29)]

대 짱 깨

[GPT4-o3(nagosuragosibal)]

[난모르것다(farewell1592)]

지금 중국에서 o1급이라고 발표한게 딥시크 R1 KIMI K1.5 바이트댄스 Duobao 1.5 pro 이거 3개인거 같던데 밑에 2개는 오픈소스가 아닌거 같고 어케쓰는지도 몰라서 못써봄 얘들 다 강화학습으로 돌파구 찾은거 같더만

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[익명(version5619)]

정신병있냐

[익명(14.36)]

뉴스 퍼오는 애들 고생하는데 애미뒤진 소리하지마병신새끼야

[익명(220.118)]

말 좀 이쁘게 하셈

[익명(203.234)]

써보니까 솔직히 별로인데

[익명(dollar9711)]

[디시콘발사대(fcbjsjmu1t9f)]

[지수주의자(hurt8115)]

얏후 ! 가속 가속이다!! - dc App

[아스타리온(attempt1316)]

[익명(to414)]

벌써 O1이 허벌이네 ㄷㄷ

[익명(cideraction)]

이름이 콩밥이네.