[📪정보] 앤트로픽 숄토 더글라스 0606 인터뷰

[익명(121.178)]

1. 현재 집중 분야와 강화 학습 스케일링의 중요성

-현재 RL(강화 학습) 스케일링에 매우 집중하고 있다. 이것이 올해의 주제다.

-RL에 컴퓨팅을 10배 늘리면 여전히 뚜렷한 선형적 이득을 얻고 있다.

-현재 RL에 투입된 컴퓨팅은 여전히 사전학습에 비해 매우 적으며, R1기준으로 볼 때 GPT-4 규모까지 아직 최소 두 자릿수 이상의 배율이 남아있다.

-또한 RL은 사전 훈련보다 병렬화하고 확장하기가 더 쉽기 때문에, 확장의 제약이 훨씬 적다.

2. 보상 해킹의 문제점

-RL은 모델에게 어떤 대가를 치르더라도 목표를 달성하라고 요구하는 것이다.

-예를 들어 코딩에서 유닛 테스트를 해킹하려 할 수 있다.

-더 장기적인 실제 과제, 예를 들어 '인터넷에서 돈을 벌어라'라고 시키면, 온갖 재미있고 흥미로운 방법들을 찾아낼 수 있다.

-따라서 모델의 보상 해킹을 막고 수정하는 것은 매우 집중적인 과제이다.

3. 특화된 모델의 단편화 VS 하나의 거대 모델

-현재 모델이 단편화된 이유는 GPU가 부족하고, 가장 중요하다고 생각되는 보상에 GPU를 집중시켰기 때문이다.

-나는 '거대 모델 신봉자'에 가깝다. GPT-4가 일반적으로 좋은 성능을 보여주며 소규모 특화 모델들을 구식으로 만든 것처럼, RL에서도 같은 일이 일어날 것이라고 생각한다.

4. AI 지능의 들쭉날쭉함 (Jaggedness)

-현재 모델들이 '들쭉날쭉함'을 보여주는 이유는 딥 리서치같은 모델이 '보고서'를 잘 생성하도록 강화 학습되었기 때문이다.

-앞으로는 인간처럼 훨씬 더 장기적이고 넓은 범위의 과제를 수행하는 환경에 모델을 투입해야 한다.

-예를 들어 '딥 리서치'가 '일주일간 회사 운영하기' 같은 과제로 발전해야 한다.

5. 스케일링의 물리적 한계

-레오폴드 아센브레너의 '상황 인식'에 따르면, 매우 공격적인 타임라인 아래서 2028년경 AI가 미국 전체 에너지 생산량의 20%를 차지할 것이라고 예측한다.

-그 이상으로 기하급수적 성장하기는 현실적으로 매우 어렵다.

-하지만 내가 보는 모든 징후는 그 정도의 스케일링이면 충분하다는 것을 말하고 있다.

-즉, 그 정도면 모델이 우리의 연구와 소프트웨어 엔지니어링을 돕고, 자기 개선(self-improvement)를 시작하기에 충분하다.

6. 컨텍스트 길이의 중요성

-Gemini 1.5 논문에 따르면, 컨텍스트 길이를 늘릴수록 코드베이스 예측 손실이 상당히 가파르게 감소한다.

-비용 문제가 있지만, 예측 능력 향상에 매우 중요하다.

7. ARC-AGI 벤치마크

-만약 ARC-AGI에 대해 강화 학습을 시키면 모델들은 아마 매우 빠르게 초인적 수준에 도달할 것이다.

-하지만 AI 연구소들 사이에 일종의 '명예 협정'으로, 이것이 흥미로운 비공개 평가 세트로 기능하기 위해 그 위에 훈련하지 않으려고 노력하고 있다.

TBPN | Thursday, June 5th

https://www.youtube.com/live/FKOwIN9zuWI?si=MjyAegbKwH59_sbB

[ㅇㅇ 1(110.10)]

[ㅇㅇ 2(121.158)]

[도로시냥(slzpdnjsxnf)]

[초존도초(htr3c654r6ft)]

ARC-AGI를 통해 강화학습을 시켜버리라고!!!!! - 2025 AGI

[gemini는제미나이(main6862)]

[익명(221.145)]

명예협정ㅋㅋㅋ

[익명(wanted7407)]

그럴 꺼 같긴 해 공개세트 학습데이터로 넣고 돌리면 ㅈㄴ 올라갈 꺼 뻔하니까

[Asi(worship5388)]

재귀개선 '가능' 캬

[점심밥(yield0917)]

[EXERCENS(exercens02)]

arc agi든 포켓몬이든 그런 벤치는 그거 자체를 학습시키면 의미가 없지

[산시야(logical6358)]