[📪정보] 릴리안 웽 전 OAI 안전 부문 부사장 "Why we think"

[plurali..(surely8340)]

Why We Think: AI가 사고하는 이유

Lilian Weng의 테스트 타임 컴퓨트와 추론 능력에 대한 심층 연구

"John Schulman의 귀중한 피드백과 직접적인 편집에 특별히 감사드립니다."

테스트 타임 컴퓨트와 Chain-of-Thought(CoT)는 모델 성능을 크게 향상시켰지만, 동시에 많은 연구 질문을 제기했습니다. 이 글은 "사고 시간"을 효과적으로 활용하는 방법과 그 이유에 대한 최근 발전사항을 검토합니다.

? 동기: 왜 AI에게 사고 시간이 필요한가?

모델이 더 오래 생각할 수 있도록 하는 것은 몇 가지 다른 방식으로 동기를 부여받을 수 있습니다.

+ 심리학과의 유사성

핵심 아이디어는 인간의 사고 방식과 깊이 연결되어 있습니다. 우리 인간은 "12345 곱하기 56789는 얼마인가?"라는 질문에 즉시 답할 수 없습니다. 특히 복잡한 문제의 경우, 결과에 도달하기 전에 시간을 들여 숙고하고 분석하는 것이 자연스럽습니다.

다니엘 카너먼의 이중 과정 이론

빠른 사고 (시스템 1):
• 직관과 감정에 의해 구동
• 빠르고 자동적으로 작동
• 거의 노력이 필요하지 않음
• 정확성과 논리를 희생하여 주요 결정 동력이 됨

느린 사고 (시스템 2):
• 의도적이고 논리적인 사고 요구
• 상당한 인지적 노력 필요
• 더 많은 정신적 에너지 소모
• 의식적인 참여가 필요

+ 핵심 통찰: 의식적으로 속도를 늦추고 더 많은 시간을 들여 성찰하고 분석함으로써, 우리는 시스템 2 사고에 참여하여 본능에 도전하고 더 합리적인 선택을 할 수 있습니다.

< !-- 계산을 자원으로 보는 관점 -->

⚡ 계산을 자원으로 보는 관점

딥러닝의 한 가지 관점은 신경망이 순방향 패스에서 접근할 수 있는 계산량과 저장량으로 특성화될 수 있다는 것입니다. 경사 하강법으로 문제를 해결하도록 최적화하면, 최적화 과정이 이러한 자원을 어떻게 사용할지 알아낼 것입니다.

Transformer 모델의 계산량

일반 모델: 계산량 = 2 × 파라미터 수
MoE 모델: 계산량 = 2 × 파라미터 수 ÷ 희소성
※ MoE(Mixture of Experts): 각 순방향 패스에서 전체 파라미터의 일부만 사용하는 희소 모델

CoT의 장점:
• 답변하려는 각 토큰에 대해 훨씬 더 많은 계산 수행
• 문제의 난이도에 따라 가변적인 계산량 사용 가능
• 어려운 문제일수록 더 많은 사고 시간 할당

+ 잠재 변수 모델링

머신러닝의 고전적인 아이디어는 잠재(숨겨진) 변수 z와 가시 변수 y를 가진 확률 모델을 정의하는 것입니다.

수학 문제 해결 모델링 예시:

• x: 문제 진술
• y: 정답 또는 증명
• z: 증명으로 이어지는 자유형식 사고 과정

※ 최적화할 주변 확률 분포: P(y|x) = Σz~p(z|x)P(y|x,z)

+ 핵심 통찰: 잠재 변수 관점은 여러 병렬 CoT를 수집하거나 CoT를 검색하는 방법을 이해하는 데 특히 유용합니다. 이러한 알고리즘은 사후 분포 P(z|x,y)에서 샘플링하는 것으로 볼 수 있습니다.

+ 토큰으로 사고하기

짧은 답변을 생성하기 전에 중간 단계를 생성하는 전략, 특히 수학 문제의 경우는 2017년 Ling 등에 의해 탐구되었고, 2021년 Cobbe 등에 의해 확장되었습니다.

• 발전 과정

• 2017 Ling et al.: AQUA-RAT 데이터셋 도입
• 2021 Cobbe et al.: Grade School Math (GSM) 데이터셋 도입
• 2021 Nye et al.: "스크래치패드"로서의 중간 사고 토큰 실험
• 2022 Wei et al.: "Chain-of-Thought" 용어 정립

• 초기 개선 방법

• 지도 학습: 인간이 작성한 추론 과정 또는 정답 필터링된 모델 생성 과정
• 프롬프트 기법: "단계별로 생각해보세요" (Kojima et al. 2022)
• 복잡한 프롬프팅: 관련 지식을 먼저 성찰하도록 유도

• 강화학습의 등장

후속 연구에서는 자동으로 확인 가능한 해답이 있는 문제 데이터셋(STEM 문제, 단위 테스트로 확인 가능한 코딩 작업)에서 강화학습을 통해 CoT 추론 능력을 크게 향상시킬 수 있음을 발견했습니다.

✅ 주요 성과:

OpenAI의 o1-preview, o3, DeepSeek의 R1 기술 보고서에서 보여준 바와 같이, 간단한 정책 경사 알고리즘이 강력한 성능으로 이어질 수 있음을 입증했습니다.

+ 분기와 편집: 두 가지 접근법

테스트 타임 컴퓨트의 근본적인 의도는 테스트 시점에서 모델의 출력 분포를 적응적으로 수정하는 것입니다. 더 나은 샘플을 선택하여 모델의 예측을 더 바람직한 분포로 변경하는 다양한 방법이 있습니다.

+ 두 가지 주요 접근법

1. 병렬 샘플링 (Parallel Sampling)

• 여러 출력을 동시에 생성
• 단계별 프로세스 보상 신호로 안내
• 검증자를 사용하여 최종 품질 판단
• Best-of-N, 빔 서치 등이 대표적
• Self-consistency: 다중 CoT 롤아웃 중 다수결로 답변 선택

2. 순차적 수정 (Sequential Revision)

• 이전 단계의 출력을 기반으로 반복적으로 응답 조정
• 기존 응답을 의도적으로 성찰하고 실수 수정
• 외부 피드백 없이는 개선이 어려울 수 있음
• 파인튜닝된 모델에 의존해야 할 수 있음

⚖+ 트레이드오프:

• 병렬 샘플링: 간단하고 직관적이지만 모델의 일회성 해결 능력에 제한됨
• 순차적 수정: 실수 성찰을 명시적으로 요구하지만 느리고 구현 시 주의 필요

+ 연구 결과: Snell et al. (2024)에 따르면, 쉬운 문제는 순수한 순차적 테스트 타임 컴퓨트가 유리하고, 어려운 문제는 순차적과 병렬 컴퓨트의 최적 비율이 가장 좋은 성능을 보입니다.

+ 병렬 샘플링 상세 기법 • Best-of-N과 빔 서치

생성 모델과 전체 또는 부분 샘플을 점수화할 수 있는 점수 함수가 주어졌을 때, 높은 점수의 샘플을 찾기 위한 다양한 검색 알고리즘을 사용할 수 있습니다.

주요 기법들

Best-of-N:
• N개의 독립적인 샘플을 수집
• 점수 함수에 따라 가장 높은 순위의 샘플 선택
• 가장 간단한 알고리즘

빔 서치 (Beam Search):
• 유망한 부분 시퀀스 집합을 유지
• 확장과 가지치기를 번갈아 수행
• 해결 공간의 더 유망한 부분에 더 많은 샘플링 계산 투입
• PRM(Process Reward Model)으로 후보 선택 안내 가능

• 혁신적 접근법들

자기 평가 기반 빔 서치 (Xie et al. 2023)

• LLM이 자신의 추론 단계가 올바를 가능성을 평가
• 다중 선택 질문 형식으로 포맷
• 단계별 자기 평가로 다단계 추론의 누적 오류 감소
• GSM8k, AQuA, StrategyQA에서 5-6% 개선

자발적 CoT 발현 (Wang & Zhou 2024)

명시적인 zero-shot 또는 few-shot 프롬프팅 없이도 CoT 추론 경로를 유발할 수 있다는 흥미로운 발견:

• 첫 번째 샘플링 토큰에서 분기하여 상위 k개 토큰 유지
• 신뢰도는 top-1과 top-2 후보 간의 차이로 측정
• 이후 탐욕적 디코딩으로 계속 진행
• 많은 시퀀스가 자연스럽게 CoT를 포함

+ 순차적 수정의 도전과 해결책

모델이 과거 응답의 실수를 성찰하고 수정할 수 있다면, 품질이 점진적으로 향상되는 반복적 수정 시퀀스를 생성할 것으로 기대됩니다. 그러나 이러한 자기 수정 능력은 LLM에 내재적으로 존재하지 않으며 즉시 작동하지 않습니다.

❌ 주요 실패 모드들:

• 환각: 올바른 응답을 잘못된 것으로 수정
• 행동 붕괴: 첫 번째 잘못된 응답에 대해 미미하거나 전혀 수정하지 않음
• 일반화 실패: 테스트 시점의 분포 변화에 일반화하지 못함

• 자기 수정 학습 (Welleck et al. 2023)

고정된 생성기 모델 P₀(y₀|x)가 주어졌을 때 수정기 모델 Pθ(y|y₀,x)를 훈련하는 것을 목표로 합니다.

자기 수정 학습 과정

1단계: 데이터 풀에서 프롬프트당 여러 출력 생성
2단계: 같은 프롬프트에 대해 더 높은 가치를 가진 출력끼리 쌍을 이루어 가치 개선 쌍 생성
3단계: 가치 개선 정도 v(y')-v(y)와 출력 간 유사성에 비례하여 쌍 선택
4단계: 탐색 장려를 위해 수정기가 새로운 생성을 데이터 풀에 제공

※ 추론 시점에서 수정기를 반복적으로 사용하여 순차적 수정 궤적 생성

• SCoRe: 강화학습을 통한 자기 수정

Kumar et al. (2024)의 다중 턴 RL 접근법으로, 첫 번째 시도보다 두 번째 시도에서 더 나은 답변을 생성하도록 모델을 장려합니다.

2단계 훈련 과정:

• 1단계: 두 번째 시도의 정확도만 최대화, 첫 번째 시도에만 KL 페널티 적용
• 2단계: 첫 번째와 두 번째 시도 모두의 정확도 최적화

※ 1단계는 모델이 첫 번째 응답에 대해 미미하거나 전혀 편집하지 않는 행동 붕괴를 방지

+ 더 나은 추론을 위한 강화학습

정답이 있는 문제 모음(주로 STEM 문제와 쉽게 검증 가능한 답이 있는 퍼즐)을 사용하여 RL로 언어 모델의 추론 능력을 향상시키는 데 최근 많은 성공이 있었습니다. 이 분야의 최근 활동은 OpenAI의 o 시리즈 모델의 강력한 성능과 DeepSeek의 후속 모델 및 기술 보고서 출시에 의해 촉발되었습니다.

• DeepSeek-R1의 혁신적 접근

DeepSeek-R1은 수학, 코딩, 논리적 문제 해결과 같은 고급 추론 기술이 필요한 작업에서 뛰어난 성능을 발휘하도록 설계된 오픈소스 LLM입니다.

DeepSeek-R1의 4단계 훈련 과정

1. Cold-start SFT:
• DeepSeek-V3-Base를 수천 개의 cold-start 데이터로 파인튜닝
• 이 단계 없이는 가독성 문제와 언어 혼재 문제 발생

2. 추론 지향 RL:
• 추론 전용 프롬프트로 추론 모델 훈련
• 형식 보상: CoT를 <thinking> ... </thinking> 토큰으로 감싸기
• 정확도 보상: 최종 답변의 정확성 (수학: 박스 형식, 코딩: 컴파일러 평가)

3. 거부 샘플링 + 비추론 SFT:
• 2단계 RL 체크포인트에서 거부 샘플링으로 새로운 SFT 데이터 생성
• DeepSeek-V3의 비추론 지도 데이터와 결합
• 총 80만 샘플로 DeepSeek-V3-Base를 2 에포크 파인튜닝

4. 최종 RL:
• 추론 및 비추론 프롬프트 모두에서 3단계 체크포인트 훈련
• 도움됨, 무해함, 추론 능력 모두 개선

✅ 놀라운 발견:

DeepSeek 팀은 순수 RL만으로도 (SFT 단계 없이) 성찰과 역추적("아하 순간")과 같은 고급 추론 능력을 학습할 수 있음을 보여주었습니다. 모델은 RL 훈련 과정에서 추론 작업을 해결하기 위해 자연스럽게 더 많은 사고 토큰을 사용하는 법을 학습합니다.

❌ 실패한 시도들:

• PRM 사용: 단계별 기준 정의의 어려움, 보상 해킹에 취약
• MCTS: 언어 모델 토큰의 거대한 검색 공간, 세밀한 가치 모델 훈련의 어려움

※ 실패한 시도들도 독특한 통찰을 제공하며, 연구 커뮤니티가 작동하지 않은 것들에 대해 더 많이 공유하기를 권장

?+ 외부 도구 사용

추론 단계 중에 특정 중간 단계들은 코드 실행이나 수학적 계산을 통해 신뢰성 있고 정확하게 해결될 수 있습니다. 추론 구성 요소의 해당 부분을 외부 코드 인터프리터로 오프로드하는 것은 LLM의 능력을 외부 도구로 확장할 수 있습니다.

• PAL: 프로그램 지원 언어 모델

PAL의 작동 원리

• LLM이 코드를 실행하거나 계산기 역할을 학습할 필요 제거
• 수학 문제, 기호적 추론, 알고리즘 작업에 특히 유익
• Chain of Code에서는 표준 코드 인터프리터가 실패할 경우 LLM이 해당 코드 라인을 대신 실행
• 단위 테스트가 없는 경우 모델이 자체 생성한 단위 테스트로 솔루션 검증 가능

• ReAct: 추론과 행동의 결합

Yao et al. (2023)의 ReAct는 Wikipedia API 검색 행동과 추론 과정 생성을 결합하여, 추론 경로가 외부 지식을 통합할 수 있도록 합니다.

+ 최신 발전: OpenAI의 o3 & o4-mini는 추론 과정에서 웹 검색, 코드 실행, 이미지 처리와 같은 도구 사용을 포함하는 좋은 예시입니다. 팀은 대규모 강화학습이 GPT 패러다임과 동일한 "더 많은 컴퓨트 = 더 나은 성능" 추세를 보인다고 관찰했습니다.

+ 충실한 사고: 모델이 정말 생각하는 것을 말하는가?

딥러닝 모델은 종종 블랙박스로 취급되며 다양한 해석 가능성 방법들이 제안되었습니다. Chain of Thought는 모델의 내부 과정을 자연어로 가시화하므로 특히 편리한 해석 가능성 형태를 제공합니다. 그러나 이러한 해석 가능성은 모델이 자신의 내부 사고 과정을 진실하게 설명한다는 가정에 의존합니다.

• CoT 모니터링의 활용

최근 연구 성과:

• 보상 해킹 탐지: 추론 모델의 CoT 모니터링으로 모델 오작동 효과적 탐지
• 약한 모델의 강한 모델 감시: 더 약한 모델이 더 강한 모델을 모니터링 가능
• 적대적 견고성 향상: 테스트 타임 컴퓨트 증가로 적대적 견고성 개선

+ 직관적 이해: 더 오래 생각하는 것은 적대적 예시나 탈옥 시도와 같은 비정상적인 입력에 직면했을 때 특히 유용해야 합니다. 추가 사고 시간을 사용하여 제시된 이상한 상황을 이해할 수 있기 때문입니다.

• CoT 충실성 실패 모드

Lanham et al. (2023)은 CoT에 의도적으로 실수를 도입하고 다중 선택 작업 정확도에 미치는 영향을 측정하여 CoT 충실성 실패의 여러 모드를 조사했습니다.

세 가지 주요 실패 모드

1. 조기 답변 (Early Answering):
• CoT가 생성되기 전에 모델이 결론을 성급하게 형성
• CoT를 조기에 자르거나 실수를 삽입하여 테스트
• 작업별로 CoT 효과에 대한 의존도가 다름

2. 무정보 토큰 (Uninformative Tokens):
• 무정보 CoT 토큰이 성능을 향상시킴
• CoT를 채우기 텍스트(예: 모든 마침표)로 대체하여 테스트
• 정확도 증가 없음, 일부 작업에서 성능 약간 저하

3. 인간이 읽을 수 없는 인코딩:
• 관련 정보가 인간이 이해하기 어려운 방식으로 인코딩
• 비표준 방식으로 CoT를 의역해도 성능 저하 없음
• 정확도 향상이 인간이 읽을 수 있는 추론에 의존하지 않음을 시사

⚠+ 중요한 발견:

다중 선택 질문에서 작은 모델은 CoT를 잘 활용할 능력이 부족할 수 있고, 큰 모델은 CoT 없이도 작업을 해결할 수 있을 정도로 능력이 있을 수 있습니다. CoT 추론에 대한 의존도는 모델 크기에 따라 항상 증가하지는 않지만, 덧셈과 같은 복잡한 추론 작업에서는 증가합니다.

+ 핵심 통찰과 미래 전망

1. 인간 사고와의 유사성

AI의 "사고 시간"은 인간의 시스템 1(빠른 사고)과 시스템 2(느린 사고)와 유사한 패턴을 보입니다.

2. 계산 자원의 효율적 활용

테스트 타임 컴퓨트는 문제의 난이도에 따라 가변적인 계산량을 할당할 수 있는 유연성을 제공합니다.

3. 강화학습의 혁신적 역할

순수 RL만으로도 고급 추론 능력과 "아하 순간"을 학습할 수 있음이 입증되었습니다.

4. 외부 도구와의 통합

코드 실행, 웹 검색 등 외부 도구와의 결합으로 추론 능력의 한계를 확장할 수 있습니다.

5. 해석 가능성의 새로운 차원

CoT는 모델의 내부 과정을 가시화하지만, 그 충실성에 대한 지속적인 연구가 필요합니다.

+ 원본 정보

제목: Why We Think
저자: Lilian Weng
출처: https://lilianweng.github.io/posts/2025-05-01-thinking/
발행일: 2025년 5월 1일
주요 기여자: John Schulman (피드백 및 편집)

AI 연구 인사이트 - 사고하는 AI의 과학

테스트 타임 컴퓨트와 Chain-of-Thought의 심층 분석

[천사다천사(jjtheman999)]

[익명(essay8804)]

이거 뭘로 요약한거임? 깔끔하네