[📪정보] (앤트로픽) 클로드의 새로운 도구

[초존도초(htr3c654r6ft)]

2025년 3월 20일 게시 | Anthropic의 엔지니어링

"생각" 도구: 복잡한 도구 사용 상황에서 Claude가 멈추고 생각할 수 있게 하는 도구

Claude의 복잡한 문제 해결 성능을 향상시키는 새로운 도구

Claude의 복잡한 문제 해결 능력을 지속적으로 개선하면서, 우리는 특히 효과적인 접근 방식을 발견했습니다. 바로 복잡한 작업 중 구조화된 사고를 위한 전용 공간을 제공하는 "생각" 도구입니다.

아래에서 설명하겠지만, Claude의 새로운 "확장된 사고" 기능과는 다른 이 간단하면서도 강력한 기법은 Claude의 주체적 도구 사용 능력에서 놀라운 향상을 가져왔습니다. 여기에는 정책 준수, 일관된 의사 결정, 다단계 문제 처리 등이 포함되며, 구현 부담은 최소화되었습니다.

이 글에서는 "생각" 도구를 다양한 애플리케이션에 구현하는 방법을 탐구하며, 검증된 벤치마크 결과를 바탕으로 개발자들에게 실용적인 지침을 공유합니다.

"생각" 도구란 무엇인가?

"생각" 도구를 통해 우리는 Claude에게 최종 답변을 도출하는 과정에서 추가적인 사고 단계를 포함할 수 있는 능력을 부여합니다. 이 단계는 전용 공간을 갖추고 있습니다.

이는 확장된 사고와 비슷해 보이지만 다른 개념입니다. 확장된 사고는 Claude가 응답을 생성하기 전에 무엇을 하는지에 관한 것입니다. 확장된 사고를 통해 Claude는 행동을 취하기 전에 계획을 깊이 고민하고 반복적으로 수정합니다. 반면 "생각" 도구는 Claude가 응답 생성을 시작한 후, 다음 단계로 나아가기 위해 필요한 모든 정보를 갖추었는지 멈추고 생각하는 단계를 추가하는 데 사용됩니다. 이는 긴 도구 호출 체인을 수행하거나 사용자와의 긴 다단계 대화에서 특히 유용합니다.

따라서 "생각" 도구는 Claude가 사용자 질의만으로 응답을 구성하는 데 필요한 모든 정보를 갖추지 못한 경우, 그리고 외부 정보(예: 도구 호출 결과의 정보)를 처리해야 할 때 더 적합합니다. "생각" 도구로 수행되는 추론은 확장된 사고로 얻을 수 있는 것보다 덜 포괄적이며, 모델이 새로 발견한 정보에 더 초점을 맞춥니다.

우리는 비순차적 도구 호출이나 간단한 지시 따르기와 같은 단순한 도구 사용 시나리오에는 확장된 사고를 사용할 것을 권장합니다. 확장된 사고는 또한 도구 호출이 필요 없는 코딩, 수학, 물리학 같은 사용 사례에도 유용합니다. "생각" 도구는 Claude가 복잡한 도구를 호출해야 하거나, 긴 도구 호출 체인에서 도구 출력을 신중히 분석해야 하며, 상세한 지침이 있는 정책 중심 환경을 탐색하거나, 각 단계가 이전 단계를 기반으로 하며 실수가 큰 비용을 초래하는 순차적 의사 결정을 내려야 할 때 더 적합합니다.

다음은 τ-Bench에서 제공하는 표준 도구 사양 형식을 사용한 샘플 구현입니다:

```

{

  "name": "think",

  "descr.iption": "이 도구를 사용하여 무언가에 대해 생각합니다. 새로운 정보를 얻거나 데이터베이스를 변경하지 않으며, 단지 생각을 로그에 추가합니다. 복잡한 추론이나 캐시 메모리가 필요할 때 사용하세요.",

  "input_schema": {

    "type": "object",

    "properties": {

      "thought": {

        "type": "string",

        "descri.ption": "생각하고 싶은 내용."

      }

    },

    "required": ["thought"]

  }

}

```

τ-Bench에서의 성능

우리는 "생각" 도구를 τ-Bench(tau-bench)를 사용하여 평가했습니다. τ-Bench는 모델이 현실적인 고객 서비스 시나리오에서 도구를 사용하는 능력을 테스트하기 위해 설계된 포괄적인 벤치마크로, "생각" 도구는 평가의 표준 환경에 포함됩니다.

τ-Bench는 Claude의 다음 능력을 평가합니다:

- 모의 사용자와의 현실적인 대화 탐색

- 복잡한 고객 서비스 에이전트 정책 지침을 일관되게 준수

- 환경 데이터베이스에 접근하고 조작하기 위해 다양한 도구 사용

τ-Bench에서 사용되는 주요 평가 지표는 pass^k로, 주어진 작업에 대해 k개의 독립적인 작업 시도가 모두 성공할 확률을 측정하며, 모든 작업에 대해 평균을 냅니다. 다른 LLM 평가에서 흔히 사용되는 pass@k 지표(최소한 k개의 시도 중 하나라도 성공하는지를 측정)와 달리, pass^k는 일관성과 신뢰성을 평가합니다. 이는 정책 준수가 필수적인 고객 서비스 애플리케이션에서 중요한 특성입니다.

성능 분석

우리는 여러 가지 다른 구성을 비교 평가했습니다:

1. 기준선 ("생각" 도구 없음, 확장된 사고 모드 없음)

2. 확장된 사고 모드 단독

3. "생각" 도구 단독

4. 최적화된 프롬프트와 함께한 "생각" 도구 (항공사 도메인용)

결과는 Claude 3.7이 벤치마크의 "항공사" 및 "소매" 고객 서비스 도메인에서 "생각" 도구를 효과적으로 사용했을 때 극적인 향상을 보여주었습니다:

- 항공사 도메인: 최적화된 프롬프트와 함께한 "생각" 도구는 pass^1 지표에서 0.570을 달성했으며, 기준선의 0.370에 비해 54% 상대적 향상을 보였습니다.

- 소매 도메인: "생각" 도구 단독으로 0.812를 달성했으며, 기준선의 0.783과 비교됩니다.

Claude 3.7 Sonnet의 Tau-Bench 평가 "항공사" 도메인에서 네 가지 다른 구성 하에서의 성능.

네 가지 다른 구성에 걸친 평가 결과. 점수는 비율로 표시됨.

항공사 도메인에서 최상의 성능은 "생각" 도구와 고객 요청 분석 시 사용할 추론 접근 방식의 예시를 제공하는 최적화된 프롬프트를 결합하여 달성되었습니다. 아래는 최적화된 프롬프트의 예시입니다:

```

## "생각" 도구 사용법

도구 결과를 받은 후 사용자에게 응답하거나 행동을 취하기 전에, "생각" 도구를 스크래치패드로 사용하여 다음을 수행하세요:

- 현재 요청에 적용되는 구체적인 규칙 나열

- 모든 필수 정보가 수집되었는지 확인

- 계획된 행동이 모든 정책을 준수하는지 검증

- 도구 결과의 정확성을 반복 검토

"생각" 도구 내에서 반복 검토할 내용의 예시는 다음과 같습니다:

<think_tool_example_1>

사용자가 ABC123 항공편을 취소하고자 함

- 확인 필요: 사용자 ID, 예약 ID, 이유

- 취소 규칙 확인:

  * 예약 후 24시간 이내인가?

  * 그렇지 않다면, 티켓 등급과 보험 확인

- 이미 비행한 구간이 없거나 과거에 있는지 확인

- 계획: 누락된 정보 수집, 규칙 검증, 확인 받기

</think_tool_example_1>

<think_tool_example_2>

사용자가 NYC행 티켓 3장과 각 2개의 위탁 수하물을 예약하고자 함

- 사용자 ID로 확인 필요:

  * 수하물 허용량에 대한 회원 등급

  * 프로필에 존재하는 결제 방법

- 수하물 계산:

  * 이코노미 클래스 × 3명 승객

  * 일반 회원: 1개 무료 수하물 → 3개 추가 수하물 = $150

  * 실버 회원: 2개 무료 수하물 → 0개 추가 수하물 = $0

  * 골드 회원: 3개 무료 수하물 → 0개 추가 수하물 = $0

- 확인할 결제 규칙:

  * 최대 1개 여행 증명서, 1개 신용카드, 3개 기프트 카드

  * 모든 결제 수단은 프로필에 있어야 함

  * 여행 증명서 잔액은 소멸됨

- 계획:

1. 사용자 ID 확보

2. 수하물 요금을 위한 회원 등급 확인

3. 프로필에 있는 결제 수단과 그 조합이 허용되는지 확인

4. 총액 계산: 티켓 가격 + 수하물 요금(있는 경우)

5. 예약에 대한 명시적 확인 받기

</think_tool_example_2>

```

특히 흥미로운 점은 서로 다른 접근 방식의 비교 결과입니다. 최적화된 프롬프트와 함께한 "생각" 도구는 확장된 사고 모드(프롬프트 없는 "생각" 도구와 비슷한 성능을 보임)에 비해 훨씬 더 나은 결과를 달성했습니다. "생각" 도구를 단독으로 사용했을 때(프롬프트 없이)는 기준선보다 성능이 향상되었으나, 최적화된 접근 방식에는 미치지 못했습니다.

"생각" 도구와 최적화된 프롬프트의 조합은 항공사 정책의 높은 복잡성 덕분에 벤치마크에서 가장 강력한 성능을 상당한 차이로 보여주었으며, 모델은 "생각"하는 방법의 예시를 제공받았을 때 가장 큰 혜택을 받았습니다.

소매 도메인에서도 다양한 구성을 테스트하여 각 접근 방식의 구체적인 영향을 파악했습니다.

Claude 3.7 Sonnet의 Tau-Bench 평가 "소매" 도메인에서 세 가지 다른 구성 하에서의 성능.

세 가지 다른 구성에 걸친 평가 결과. 점수는 비율로 표시됨.

"생각" 도구는 추가 프롬프트 없이도 0.812라는 가장 높은 pass^1 점수를 달성했습니다. 소매 정책은 항공사 도메인에 비해 탐색이 눈에 띄게 쉬웠으며, Claude는 추가 지침 없이도 생각할 공간만 있으면 성능을 개선할 수 있었습니다.

τ-Bench 분석에서 얻은 주요 통찰

우리의 상세한 분석은 "생각" 도구를 효과적으로 구현하는 데 도움이 될 몇 가지 패턴을 드러냈습니다:

1. 어려운 도메인에서 프롬프트가 중요합니다. "생각" 도구를 단순히 제공하는 것만으로도 성능이 다소 향상될 수 있지만, 어려운 도메인에서는 최적화된 프롬프트와 결합했을 때 극적으로 더 나은 결과를 얻었습니다. 그러나 쉬운 도메인은 단순히 "생각"에 접근할 수 있는 것만으로도 혜택을 볼 수 있습니다.

2. 시도 간 일관성 향상. "생각"을 사용함으로써 얻은 향상은 k=5까지의 pass^k에서도 유지되었으며, 이는 도구가 Claude가 예외적인 경우와 비정상적인 시나리오를 더 효과적으로 처리하는 데 도움이 되었음을 나타냅니다.

SWE-Bench에서의 성능

Claude 3.7 Sonnet을 평가할 때 SWE-Bench 설정에도 유사한 "생각" 도구를 추가하여 0.623이라는 최첨단 점수를 달성하는 데 기여했습니다. 적응된 "생각" 도구 정의는 아래에 제공됩니다:

```

{

  "name": "think",

  "desc.ription": "이 도구를 사용하여 무언가에 대해 생각합니다. 새로운 정보를 얻거나 저장소를 변경하지 않으며, 단지 생각을 로그에 기록합니다. 복잡한 추론이나 브레인스토밍이 필요할 때 사용하세요. 예를 들어, 저장소를 탐색하여 버그의 원인을 발견했다면, 이 도구를 호출하여 버그를 수정할 여러 독창적인 방법을 브레인스토밍하고, 어떤 변경이 가장 간단하고 효과적일지 평가하세요. 또는 테스트 결과를 받았다면, 이 도구를 호출하여 실패한 테스트를 수정할 방법을 브레인스토밍하세요.",

  "input_schema": {

    "type": "object",

    "properties": {

      "thought": {

        "type": "string",

        "desc.ription": "당신의 생각."

      }

    },

    "required": ["thought"]

  }

}

```

우리의 실험("생각" 도구 포함 n=30 샘플, 제외 n=144 샘플)은 이 도구를 포함함으로써 평균 1.6% 성능 향상을 가져오는 고립된 효과를 보여주었습니다(Welch의 t-검정: t(38.89) = 6.71, p < .001, d = 1.47).

"생각" 도구를 사용할 시기

이러한 평가 결과를 바탕으로, Claude가 "생각" 도구로부터 가장 큰 혜택을 받는 구체적인 시나리오를 확인했습니다:

1. 도구 출력 분석. Claude가 이전 도구 호출의 출력을 신중히 처리해야 하고 접근 방식을 되돌릴 필요가 있을 때;

2. 정책 중심 환경. Claude가 상세한 지침을 준수하고 준수 여부를 검증해야 할 때;

3. 순차적 의사 결정. 각 행동이 이전 행동을 기반으로 하며 실수가 큰 비용을 초래할 때(다단계 도메인에서 자주 발견됨).

구현 모범 사례

τ-Bench 실험을 기반으로 Claude와 함께 "생각" 도구를 최대한 활용하기 위해 다음 구현 사례를 권장합니다.

1. 도메인별 예시를 포함한 전략적 프롬프트

가장 효과적인 접근 방식은 τ-Bench 항공사 도메인에서 사용된 것처럼 "생각" 도구를 언제 어떻게 사용할지에 대한 명확한 지침을 제공하는 것입니다. 사용 사례에 맞춘 예시를 제공하면 모델이 "생각" 도구를 얼마나 효과적으로 사용하는지가 크게 향상됩니다:

- 추론 과정에서 기대되는 세부 수준;

- 복잡한 지침을 실행 가능한 단계로 분해하는 방법;

- 일반적인 시나리오를 처리하기 위한 의사 결정 트리;

- 필요한 모든 정보가 수집되었는지 확인하는 방법.

2. 시스템 프롬프트에 복잡한 지침 배치

지침이 길거나 복잡할 때, "생각" 도구에 대한 지침을 도구 설명 자체에 넣는 것보다 시스템 프롬프트에 포함시키는 것이 더 효과적이었습니다. 이 접근 방식은 더 넓은 맥락을 제공하며, 모델이 전체 행동에 사고 과정을 더 잘 통합하도록 돕습니다.

"생각" 도구를 사용하지 말아야 할 때

"생각" 도구는 상당한 향상을 제공할 수 있지만, 모든 도구 사용 사례에 적용 가능한 것은 아니며, 프롬프트 길이와 출력 토큰 증가라는 비용이 따릅니다. 구체적으로, 다음 사용 사례에서는 "생각" 도구가 개선을 제공하지 않는 것으로 확인되었습니다:

1. 비순차적 도구 호출. Claude가 단일 도구 호출이나 여러 병렬 호출만으로 작업을 완료해야 하는 경우, "생각"을 추가해도 개선이 없을 가능성이 높습니다.

2. 단순한 지시 따르기. Claude가 준수해야 할 제약이 많지 않고 기본 행동이 충분히 좋은 경우, 추가적인 "생각"으로부터 이득을 얻을 가능성은 낮습니다.

시작하기

"생각" 도구는 Claude 구현에 간단히 추가할 수 있으며, 몇 가지 단계만으로 의미 있는 개선을 얻을 수 있습니다:

1. 주체적 도구 사용 시나리오로 테스트. Claude가 현재 정책 준수나 긴 도구 호출 체인에서 복잡한 추론에 어려움을 겪는 도전적인 사용 사례로 시작하세요.

2. 도구 정의 추가. 도메인에 맞춘 "생각" 도구를 구현하세요. 최소한의 코드로 구조화된 추론을 가능하게 합니다. 또한 시스템 프롬프트에 도메인과 관련된 예시와 함께 언제 어떻게 도구를 사용할지에 대한 지침을 포함하는 것을 고려하세요.

3. 모니터링 및 개선. Claude가 실제로 도구를 어떻게 사용하는지 관찰하고, 더 효과적인 사고 패턴을 장려하도록 프롬프트를 조정하세요.

가장 좋은 점은 이 도구를 추가하는 것이 성능 결과 측면에서 거의 단점이 없다는 것입니다. Claude가 사용하기로 결정하지 않는 한 외부 행동을 변경하지 않으며, 기존 도구나 워크플로우를 방해하지 않습니다.

결론

우리의 연구는 "생각" 도구가 Claude 3.7 Sonnet의 정책 준수와 긴 도구 호출 체인에서의 추론이 필요한 복잡한 작업에서 성능을 크게 향상시킬 수 있음을 입증했습니다. "생각"은 모든 상황에 맞는 해결책은 아니지만, 올바른 사용 사례에서 상당한 이점을 제공하며 구현 복잡성은 최소화됩니다.

Claude와 함께 더 유능하고 신뢰할 수 있으며 투명한 AI 시스템을 구축하기 위해 여러분이 "생각" 도구를 어떻게 활용할지 기대됩니다.

1. τ-Bench 결과는 "생각" 도구로 Claude 3.7 Sonnet의 개선에 초점을 맞췄지만, 실험 결과 Claude 3.5 Sonnet (신규)도 3.7 Sonnet과 동일한 구성으로 성능 향상을 달성할 수 있음을 보여주며, 이 개선이 다른 Claude 모델에도 일반화됨을 나타냅니다.

[익명(sukusuku7)]

[익명(landofooo)]

좋긴한데 실제사용도 쓸만할지