1줄요약: 코딩 능력 35% 더 향상됨... ㅋ


https://www.anthropic.com/news/3-5-models-and-computer-use

Introducing computer use, a new Claude 3.5 Sonnet, and Claude 3.5 Haiku

A refreshed, more powerful Claude 3.5 Sonnet, Claude 3.5 Haiku, and a new experimental AI capability: computer use.

www.anthropic.com



1. Claude 3.5 Sonnet 업데이트 및 벤치마크

이미 업데이트 완료(모델명: claude-3-5-sonnet-20241022)


a) 코딩 능력 향상

• SWE-bench Verified 점수(기존: 33.4% → 신규: 49.0%)

- OpenAI의 o1-preview 등 다른 모델들보다 높은 점수 기록

- 전문 코딩 시스템들보다도 우수한 성능


b) 도구 사용 능력 (TAU-bench) 향상

• 리테일 도메인(기존: 62.6% → 신규: 69.2%)

• 항공 도메인 (더 복잡한 과제)

- 기존: 36.0% → 신규: 46.0%


c) 실제 고객사 피드백

i) GitLab

- DevSecOps 작업에서 추론 능력 10% 향상

- 지연 시간 증가 없음

- 다단계 소프트웨어 개발 프로세스에 적합

ii) Cognition

- 이전 버전 대비 코딩, 기획, 문제해결 능력 큰 폭 개선

iii) The Browser Company

- 웹 기반 워크플로우 자동화 테스트에서

- 지금까지 테스트한 모든 모델 중 최고 성능 기록


----


2. Claude 3.5 Haiku 업데이트 소식(곧 예정)

a) 주요 특징

- Claude 3 Haiku와 유사한 속도 유지(빠른 처리 속도)

- 동일한 비용으로 더 높은 성능 제공


b) 성능 향상

+ 벤치마크 성과

• 코딩 능력(SWE-bench Verified: 40.6% 기록)

- 이전 Claude 3.5 Sonnet과 GPT-4o 능가

- Claude 3 Opus(이전 최고 모델)와 동등한 수준

- 모든 스킬셋에서 성능 향상

• 향후 출시 일정

- 1단계: 텍스트 전용 모델

- 2단계: 이미지 입력 기능 추가 예정


----


3. Computer Use 기능 상세 분석

a) 핵심 특징: AI 의 실제 컴퓨터 사용

• Claude가 실제 사람처럼 컴퓨터 작업 수행

- 화면을 보고 정보 인식

- 마우스 커서 이동 및 클릭

- 키보드로 텍스트 입력

- 웹브라우저 탐색

- 폼 작성 및 데이터 입력


b) 기술적 특징

• API integration 방식으로 구현

- 개발자가 API 통합 시 Claude가 컴퓨터 인터페이스와 상호작용

- 자연어 명령을 컴퓨터 동작으로 변환

예시) "컴퓨터의 데이터로 이 양식을 작성해줘" →

- 스프레드시트 확인

- 웹브라우저 실행

- 관련 웹페이지 탐색

- 데이터 수집 및 양식 작성