[정보💡] 삼성 가우스 2.3 Hybrid 모델의 성능 비교

[스싱붕이(211.107)]

먼저 이 글에서 인용한 자료는 삼성 가우스를 만드는 삼성리서치에서 만든 벤치마크 테스트인 TRUEBench에서 누구나 확인할 수 있도록

허깅페이스 레포지토리에 올라와있으니 누구나 확인할 수 있음

https://huggingface.co/spaces/SamsungResearch/TRUEBench

TRUEBench - a Hugging Face Space by SamsungResearch

삼성 가우스는 멀티모달 AI로 현재 삼성의 사내에서 업무용으로 쓰이고 있지만,

삼성에서는 가우스를 볼리에 적용해서 출시할 계획이니 직접 만나보기까지 얼마 남지 않은 상태임

삼성에서도 생성형 AI를 2년 넘게 상용 서비스한 짬이 있어서 
갤럭시에 들어가는 Galaxy AI와 빅스비에도 삼성에서 직접 만든 언어모델, 이미지모델이 깔려있고
스마트싱스에도 루틴 생성 어시스턴트와 같은 생성형 AI가 들어가고 있음.

삼성 가우스는 2까지 판올림이 된 상태고 TRUEBench에 올라온 가우스의 모델은 Gauss2.3 Hybrid임

삼성이 직접 공개한 모델은 Supreme, Balanced, Compact로 3개인데 

Hybrid라는 모델이 나온건 다소 특수하게 만들어졌다는걸 알 수 있음. 볼리 출시를 준비하는 상황에서 공교롭다고 할 수 있지

Gauss2.3 Hybrid라는 모델은 정확히 뭐하는 모델인지는 나오지 않았지만 이름만 봤을때는 로컬 베이스에 일부 클라우드인 모델이거나 여러 가우스 모델을 섞어서 만든 모델 아닐까 싶음

가우스의 최고성능 모델인 수프림이 바로 여러 모델을 섞는 방식으로 개발된 MoE 모델임. 

Gauss2.3 Hybrid는 종합점수에서 46.58을 받아서 23등을 차지했음.

근처에는 딥시크 R1이나 Qwen같은 모델이 있음. 전자는 그 딥시크 맞고 후자는 중국 알리바바에서 개발한 모델.

최고점을 70.73을 받은 GPT-5나 59.34를 받은 Gemini 2.5 Pro 모델보다는 낮은 편이야

아직 최상위권모델들을 앞선 상태는 아니지만 어느 정도 의미 있는 수준은 됨.

한국에서 만들어진 AI모델중에서는 종합순위가 순위가 가장 높고

세부 점수들을 비교하면 다음과 같음

파랑색이 gpt5, 하늘색이 claude 4 opus, 보라색이 grok4, 초록색이 deepseek r1, 노란색이 가우스인 Gauss2.3 Hybrid

가우스가 고성능을 내는건 66.94점인 Reasoning과, 52.00점인 Content Generation으로

사용자의 말을 듣고 추론해서 답을 내놓는거나, 글쓰기하고 기사나 어떤 폼대로 글을 쓰는거에서 claude 4 opus랑 grok4에 근접하는 결과를 냄.

가우스가 낮은 성능을 내는건 25.71점인 Repetition과 33.22점인 Multi-Turn으로 

같은 말을 계속 반복해서 쓰는 경향이 있고 대화가 계속 진행될수록 다른 말을 할 가능성이 높음

한문장으로 요약하면 

전반적으로 Gauss2.3 Hybrid은 Deepseek R1모델이랑 굉장히 비슷한 면이 있음

그정도면 제품으로 상용화해서 내는 것까지는 준비가 다 되었지 않았을까

이제 가우스 안에서도 Gauss2.3 Hybrid의 특징을 알아볼 차례임

Gauss2.3 Hybrid는 기본적으로 추론모델이라는걸 유추해볼수있음

기본적으로 최초 응답 토큰 생성까지 약 6.75초정도 딜레이가 있는데,

삼성에서 SDC24 발표회장에서 직접 가우스2를 시연할때 재깍재깍 답하는 거랑은 다르게 꽤 길어졌음.

전체 응답 완료까지 17.98초 걸리는데 이정도 길이는 가우스가 Think 모델을 켤 수 있다는걸 의미함

Chat GPT의 길게 생각하는중이나 Grok의 Think 모드같은 게 Gauss2.3 Hybrid에 있다는거임.

여기서 좋은 점수를 받아서 아까 가우스의 Reasoning 점수가 높았지

아마 벤치마크 테스트용 복잡한 질문을 해서 Think 모델이 켜진거지

사람과의 대화같은 간단한 작업에서는 일반적으로 Reasoning 없이 바로 답할거로 보임.

파라미터 사이즈는 비공개인데

삼성 가우스1의 파라미터가 200B 였으니 멀티모달인 삼성 가우스2는 그거보다는 많지 않을까

그 정도 파라미터면 파라미터 효율 대비 결과 품질이 괜찮음.

볼리같은데에 온디바이스로 박아넣으려면 최적화는 감수해야겠지.

조금 눈여겨볼건 다른 언어에 비해 한국어 성능이 좀 떨어진다.

포르투갈어, 프랑스어, 이태리어, 영어 등 라틴언어로 쓰면 한국어보다 성능이 좋으니

똑똑하고 에반젤리스트 얼리어답터인 스싱붕이라면 포르투갈어, 프랑스어, 이태리어, 영어로 볼리를 쓰자.

[스싱붕이 1(203.248)]

이거보고 포르투갈어 듀오링고 시작했다

[스싱붕이 2(211.234)]

인터넷 끊겨도 쓸 수 있겠구만