[📪정보] Psyho의 감상평 전문 번역

[초존도초(htr3c654r6ft)]

서론

AI가 이제 두 번째로 뛰어난 경쟁 프로그래머가 되었다는 헤드라인을 보았지만, 그것을 어떻게 받아들여야 할지 모르겠는가? 그렇다면 제대로 찾아왔다. 단 한 번의 콘테스트로 확실한 결론을 내리기는 어렵지만, 이것으로부터 우리가 추론할 수 있는 것이 꽤 있다.

먼저 콘테스트에 대한 분석글을 읽어보기를 강력히 권장한다. 그렇지 않으면 전체 그림을 파악하지 못할 것이다. 최소한, 콘테스트의 정확한 형식은 알아야 한다.

휴리스틱 콘테스트 자세히 살펴보기

휴리스틱 콘테스트는 연구와 비슷하다. 개방형의 다층적인 최적화 문제를 받게 된다. 연구와 달리, 문제는 잘 정의되어 있다. 문제의 전체 명세, 채점 공식, 그리고 테스트 데이터 생성의 전체 과정을 제공받는다. 또한 채점 및 테스트 생성 코드도 제공받으므로 로컬 머신에서 심사 시스템을 완전히 재현할 수 있다.

다른 관점에서 보자면, 우리는 싱글 플레이어 (퍼즐) 게임의 전체 명세를 받고, 우리의 목표는 그 게임을 플레이할 컴퓨터 프로그램을 작성하는 것이다. 각 테스트는 무작위로 생성된 레벨일 뿐이다. 사실, 많은 콘테스트가 컴퓨터 게임에서 직접적으로 영감을 받는다.

잘 설계된 휴리스틱 문제의 속성:

- 가장 경험 많은 참가자들에게도 좋은 접근 방식을 찾는 것이 어려워야 한다

- 가능한 접근 방식이 매우 다양해야 한다. 즉, 상위 랭킹을 완전히 지배하는 단일 솔루션 원형이 없어야 한다

- (아마도 테스트의 아주 작은 부분 집합을 제외하고는) 최적의 답을 얻는 것이 실질적으로 불가능해야 한다

- 문제는 여러 계층으로 구성되어 있고 깊이가 있어야 한다

예를 들어, 고전 NES 테트리스를 문제의 출발점으로 사용할 수 있다. 분명히 그것은 너무 단순하지만, 더 정교한 테스트 생성을 통해 복잡성을 추가할 수 있다. 고전적인 테트로미노 세트를 사용하는 대신, 각 테스트는 무작위로 생성된 폴리오미노 세트를 사용할 것이다. 너비를 10으로 고정하는 대신 무작위로 설정할 수 있다. 다음에 보이는 폴리오미노의 수를 무작위로 설정할 수 있다. 마지막 손질로 몇 가지 파워업을 추가할 수도 있다. 이 정도면 충분할까? 아마 아닐 것이다 + 숙련된 참가자들은 (문제의 정확한 세부 사항에 따라) MCTS 또는 Beam Search가 여기서 최선일 것임을 즉시 알 것이다. 하지만 적어도 무엇을 예상할 수 있는지에 대한 대략적인 아이디어는 얻었을 것이다.

휴리스틱 콘테스트를 잘한다는 것은 매우 광범위한 문제들에서 좋은 성과를 낼 수 있다는 것을 의미한다. 거의 순수한 문제 해결 능력이다.

휴리스틱 문제를 해결하는 것은 반복적인 과정이며 문제마다, 사람마다 다르지만, 보통 다음 중 일부를 포함한다:

- 몇 가지 간단한 접근 방식을 작성하고, 문제에 대한 직관을 구축하기 위해 성능을 분석한다

- 펜과 종이를 사용하여 깊은 분석을 수행한다

- 하위 문제를 분리하고 그것에 대한 기존 연구를 찾는다

- 시각화 도구를 응시하며 문제가 되는 동작을 찾는다

- 코드를 최적화한다: 더 나은 알고리즘 설계, 효율성 향상, 가지치기, 일반적인 계산 사전 수행, 메모리 사용량 감소 등.

* 코드를 리팩토링 / 단순화한다; 직접적으로 도움이 되지는 않지만 향후 작업을 더 쉽게 만든다

* 작은 변경 사항을 구현하거나 하이퍼파라미터 최적화를 통해 약간의 조정을 수행한다

* 현재 솔루션을 벤치마크한다

이것이 이 문제들의 복잡성에 대해 더 명확한 아이디어를 제공하기를 바란다. 그렇다면, 이 문제들이 그렇게 복잡하다면 OpenAI는 어떻게 그렇게 좋은 결과를 얻을 수 있었을까?

예상

현재 SOTA 모델들은 이러한 작업 중 일부(사소한 조정, 기본적인 솔루션)에는 매우 능숙하고, 다른 일부(기존 연구를 하위 문제에 적용, 코드 최적화)에는 괜찮은 수준이며, 나머지(시각화 도구를 사용할 수 없고, 무엇을 찾아야 할지 모를 때 개방형 문제에 대한 깊은 분석은 어려움)에는 별로다. 에이전트가 빛을 발하는 부분은 이 모든 작업을 동시에 수행할 수 있는 능력이다. 여러 가지 다른 변경 사항을 동시에 탐색할 수 있으며, 컴퓨팅 예산에 의해서만 제한된다.

OpenAI의 에이전트가 정확히 어떻게 작동하는지는 모르지만, DeepMind의 AlphaEvolve 및 Sakana AI의 ALE-Agent와 상당히 유사하다고 안전하게 추정할 수 있다 (그들의 ALE-Agent는 OpenAI의 제출을 제외하면 해당 콘테스트에서 4위를 차지했을 것이다).

(아마도) 작동하는 방식:

- 다양한 솔루션 세트를 유지한다

- 가져오기: 문제 설명 + 솔루션 중 하나 + 로컬 테스팅 결과(점수, 실행 시간 분포) + 솔루션 개선을 유도하는 프롬프트 + (선택적으로) 다른 솔루션들(아마 요약본이면 충분할 것); 하드코딩된 다양한 프롬프트를 사용할 수도 있지만, 마스터 역할을 할 다른 에이전트를 두는 것도 가능하다

- 위 내용을 사용하여 새로운 솔루션을 생성하고 해당 솔루션에 대한 로컬 테스팅을 실행한다

- 가끔씩 최고의 솔루션을 제출한다

- 콘테스트가 끝날 때까지 반복한다

로컬 테스팅이 정확한 점수를 제공한다는 사실 덕분에 수천 개의 서로 다른 버전을 생성하고, 테스트하고, 가장 좋은 것을 안정적으로 선택할 수 있다는 것을 쉽게 알 수 있다. 약간의 직관과 Sakana의 결과에 기반하여, 나는 OpenAI가 빠르게 괜찮은 점수를 얻은 다음 본질적으로 정체될 것이라고 예상했다. 컴퓨팅 예산이 클수록 최대 잠재력에 더 빨리 도달할 것이다.

이 모든 것을 고려했을 때, 콘테스트가 시작되기 전 나의 견해는 이것이었다.

vs 현실

각 측면을 살펴보자:

- 문제 자체

콘테스트가 10일이 아닌 10시간이었고 + 라이브 스트림 시청자들이 이해하기 쉬워야 했기 때문에, 비교적 간단할 것으로 예상되었다. 깊은 분석이 필요 없었고 시각화 도구는 안전하게 무시할 수 있었다. 동시에, 문제는 간단하지 않았다. 결국 내가 (나의 직관 덕분에) 문제를 성공적으로 단순화했기 때문에 이겼다. 현장 결승에서 나올 수 있었던 가능한 문제 풀과 비교했을 때, 이 문제는 AI에게 약간 유리했다고 말하고 싶다. 보통 10일 동안 진행되는 콘테스트에서 접하는 가능한 문제 풀과 비교한다면, AI에게 훨씬 유리했다.

- 컴퓨팅 예산

아마도 우리는 영원히 알 수 없을 것이다 + 내가 착각한 것이 아니라면, Sakana AI의 시스템은 수천 달러의 컴퓨팅 예산을 가지고 있었다 (어디선가 본 기억이 있는데, 내가 환각을 본 것이라면 정정해 달라).

- 테스팅 예산

테스팅 예산은 로컬 테스트를 실행하기 위한 예산이다. 이것은 인간에게도 제한 요소이기 때문에 별도로 구분된다. 이것은 에이전트가 솔루션을 얼마나 빨리 평가할 수 있는지를 제한한다.

- 인간 성과의 편차 (비일본 참가자는 수면 부족 상태일 것)

나는 인간 참가자들이 이 콘테스트에서 급격히 저조한 성과를 냈다고 느낀다. 역사적으로, 내가 우승하기 위해서는 좋은 접근 방식과 그 접근 방식의 좋은 구현이 모두 필요했다. 콘테스트 중에도 내가 얼마나 크게 앞서고 있는지에 놀랐다. 궁극적으로 나의 승리를 확정 지은 아이디어(작은 테스트에서 거의 최적의 결과를 얻으려면 단일 그룹을 사용해야 함 + 고정된 경로도 괜찮음 + 벽 배치에는 SA가 잘 작동함)는 비교적 빠르게 알아낼 수 있었고 다소 표준적인 개념이다. 만약 내가 (실시간 리더보드 접근 없이) 고립된 상태로 경쟁했다면, 나는 아마 2위에서 4위 사이로 마쳤을 것이라 추측한다.

- AHC를 위해 에이전트를 파인튜닝하는 데 투입된 작업량

내가 아는 한, 이 프로젝트에 직접 관여한 사람은 소수에 불과하다. 다양한 솔루션 세트를 유지하기 위한 기본 시스템을 구축한 후에는 추가 작업의 성과가 점점 줄어들 것이라 상상한다. 좋고 다양한 프롬프팅이 도움이 될 수도 있지만, 기본 추론 모델이 매우 강력하다면 아마도 필요하지 않을 수도 있다 ?

OpenAIAHC 제출 내역

나는 OpenAI의 모든 제출물을 다운로드하고, 자동 포맷팅한 후, 2000개의 테스트(atcoder가 최종 결과에 사용한 것과 동일한 수)에서 로컬로 실행했다. 아래는 로컬 테스트를 수행하기 위한 나의 도구인 psytester의 출력 결과이다.

상세 보기

열 설명: Overall은 총 상대 점수(최대 100.0으로 조정됨; 나는 왜 atcoder가 거대한 숫자를 사용하는 것을 좋아하는지 절대 이해하지 못할 것이다), W=... & K=...는 해당 범위의 변수를 가진 테스트 하위 집합의 총 상대 점수를 나타내고, Fails는 실패한 테스트 수(충돌 또는 잘못된 출력)이며, Base는 이 버전이 기반으로 하는 이전 버전이고 괄호 안의 숫자는 변경된 코드의 대략적인 추정치이다(따라서 95%는 본질적으로 거의 완전한 재작성을 의미한다).

행 설명: aiXX는 콘테스트 중 OpenAI가 제출한 것이고, psyho는 나의 최종 제출이며, ai_psyho는 나의 솔루션을 개선한 OpenAI의 제출로 다음 섹션에서 자세히 설명할 것이다.

내 로컬 테스터가 지원하지 않는 것은 프로그램이 시간제한을 초과할 때 감지하지 못한다는 점이다. 콘테스트 동안, OpenAI의 후반부 제출 중 다수가 명시된 2초 시간제한을 초과했다 (이는 일반적으로 해당 테스트에서 0점을 받게 된다). 결과적으로 일부 OpenAI 제출물은 실제보다 약간 더 좋게 나타난다.

제출물에 대한 몇 가지 중요한 관찰:

- 도입된 변경 사항은 양적인 측면에서 매우 다양하다. 많은 제출이 거의 완전한 재작성이다. 변경 사항이 합리적인 수준(10-30%)일 때조차도, 보통 코드의 관련 없는 여러 섹션을 건드린다. 또한, 상수를 변경하는 것과 동일한 몇몇 제출도 있다.

- 얼마 후, 에이전트에게는 두 가지 주요 솔루션만 남는다. ai26과 ai27은 모두 빔 탐색 기반이지만 공유하는 코드가 없다. 이는 독립적으로 개발되는 더 넓은 범위의 솔루션 세트를 유지하는 것을 뒷받침한다.

- 말이 되지 않는 두 가지가 있다: 제출물 ai24-26은 ai23보다 확실히 나쁘고, ai15는 ai14와 정확히 동일하다. 마찬가지로, 가장 마지막 제출인 ai27은 (실제로 최고의 제출인) ai23의 재제출일 뿐이다. 솔루션을 제출하는 가장 간단한 접근 방식은 주기적으로(예: 15분마다) 최고 점수의 솔루션을 가져와 제출하는 것이지만, 이렇게 하면 동일한 코드를 두 번 제출하는 일이 없어야 하고, 확실히 더 나쁜 것을 제출하는 일도 없어야 한다(이 콘테스트에서 1% 차이는 꽤 크며 1천 개 이상의 로컬 테스트로 쉽게 알아차릴 수 있다). 이러한 행동에 대해 단 두 가지 설명만 찾을 수 있다. OpenAI 팀의 부주의한 프로그래밍이거나, 에이전트 자체가 어떤 솔루션을 제출해야 할지 결정했다는 것이다. 또 다른 가능한 설명은 OpenAI 팀의 수동 제출일 수 있지만(이는 ai15를 인간의 실수로 설명할 수 있다), 내 인상은 시스템이 완전히 자동화되었다는 것이었다.

- 코드가 점진적으로 더 복잡해지고 유지 관리가 어려워진다. 후반부 개선 사항의 대부분은 다소 작은 조정이다. 에이전트는 콘테스트 후반부 동안 거의 정체되었다. 마지막 4시간 동안 단 4%의 개선만 있었다.

- 후반부 제출물에는 공백이 거의 없었다. 나의 거친 추측으로는 이것은 단지 동일한 코드를 여러 번 연속으로 재작성하는 과정의 이상한 일시적 부작용일 뿐이다. 어느 시점에서 에이전트가 무작위로 일부 공백을 "먹어버리고" 그 후에는 일관된 코딩 스타일을 유지하는 것이다.

- 코드의 모든 매직 넘버는 매우 딱 떨어지는 경향이 있다. 가장 잘 맞는 상수를 찾기보다는, 에이전트는 더 복잡한 코드를 추가하는 경향이 있었다.

내 로그에 따르면 내가 "Confession Room"에 가기 직전(콘테스트 시작 후 약 7:15 경)에 제출한 버전이 ai27을 근소하게 이겼을 것 같다. 콘테스트 중에 임시 순위가 보여준 것처럼 그렇게 엎치락뒤치락하지는 않았다.

에이전트 + 나의 최종 제출

콘테스트가 끝나고 약 24시간 후, OpenAI는 내 코드의 개선된 버전을 제출했다. 나는 변경 사항을 주의 깊게 분석했고... 꽤 감명받았다 (자주 있는 일은 아니다 +). 내 분석글 말미에 몇 가지 가능한 개선 사항을 언급했는데 에이전트가 그중 두 가지를 구현했다 +

변경 사항 요약 (가장 인상 깊은 것부터 가장 덜 인상 깊은 것 순으로):

- 나의 메인 SA에서, 에이전트는 순수 맨해튼 거리 대신 미리 구축된 벽을 사용하여 사전 계산된 거리를 사용하도록 평가 함수(eval)를 변경했다. 이것이 ai_psyho가 W=1과 W=2에서 훨씬 더 좋은 점수를 얻는 이유이다.

- 나의 BFS를 A*로 변경하여, (평균적으로) 마지막에 BFS 언덕 오르기 반복 횟수를 증가시켰다.

- TIME_SCALE을 0.9로 변경했다. 이 상수는 내 솔루션이 사용하는 시간을 제어한다. 내 원래 솔루션은 약 1.94초에 멈춘다 (atcoder 서버에서 최대는 1.944초이다). 이 상수를 0.9로 변경하는 것은 런타임을 약 10% 적게 사용한다는 것을 의미한다. ai_psyho_fix는 TIME_SCALE을 다시 1.0으로 설정한 ai_psyho이다. 나는 OpenAI가 에이전트에게 실행 시간을 특정 임계값(아마도 90-95% 범위 어딘가) 이하로 유지하도록 가이드라인을 하드코딩했다고 추측한다. 내 솔루션이 2초에 가까워진 적은 없지만, 아마도 여전히 그 임계값을 넘었을 것이다.

- 아무 이유 없이 내 REP 매크로 중 일부를 언롤링(Unrolled)했다.

- 많은 데드 코드를 추가했다. 본질적으로 if (false) 블록인 것으로 감싸진 거대한 코드 블록이 있다.

- 몇몇 곳에서 나는 무의미한 if문을 피하기 위해 엣지 케이스를 신중하게 처리했다. 에이전트는 이러한 엣지 케이스에 "가드"를 추가하여 코드를 더 느리게 만들고 코드의 "엔트로피"를 감소시켰다 (문제에 대한 암묵적인 이해를 감소시켰다는 것을 멋지게 표현한 방식).

- 도입된 변경 사항 중 일부는 이점이 거의 없거나 전혀 없으면서 코드의 복잡성을 상당히 증가시킨다.

이러한 모든 변경 사항은 (콘테스트 중의 제출과는 달리) 다소 고립되어 있는데, 이는 (a) 여기에 사용된 컴퓨팅 자원이 매우 적었고 (b) 콘테스트 중에 사용된 에이전트는 아마도 우리가 생각하는 것보다 훨씬 더 많은 컴퓨팅 자원을 사용했을 것이라는 점을 시사한다 +

에이전트의 코드가 느리고 최적화되지 않은 경향이 있다는 점은 주목할 가치가 있다. 내 추측으로는 학습 세트가 그렇게 생겼기 때문에 STL에 대한 과도한 의존이 에이전트의 기본 코딩 스타일인 것 같다.

결론

- 2025년 7월 현재, AI 에이전트는 괜찮은 솔루션을 빠르게 생성할 수 있지만, 그 후 빠르게 정체기에 도달한다. 나는 나머지 결승 진출자 거의 모두가 시간이 더 주어지면 에이전트의 점수를 쉽게 이길 것이라고 확신한다. 현장 결승에서 사용된 문제는 10일 동안 진행되는 온라인 콘테스트에서 사용되는 평균적인 문제와 비교했을 때 AI에게 훨씬 유리했다. 분명히 하자면, 이 비교는 최상위 참가자들만을 포함한다. 상위권과 중간값 사이의 격차는 매우 크다. 평균적인 참가자는 솔루션을 개발할 시간이 많이 주어져도 대부분의 문제에서 대부분의 경우 패배할 것이다.

- 에이전트의 큰 문제는 장기적인 계획(단순성, 유지보수성)을 무시하고 단기 목표(점수)를 매우 선호한다는 것이다. 이것은 탐색 대 활용(exploration vs exploitation) 딜레마의 흥미로운 사례이다. 내 경험에 비추어 볼 때, 초보 참가자들은 항상 이것으로 어려움을 겪으며, 이 둘의 균형을 적절히 맞추는 데만도 많은 경험이 필요하다. 이것이 숙련된 프로그래머의 핵심 기술 중 하나라고 주장할 수도 있다. 이 문제를 "해결"하면 에이전트의 성능이 극적으로 향상되더라도 놀라지 않을 것이다. 탐색이 올바르게 작동하지 않으면 솔루션 공간이 결국 붕괴될 것이기 때문에 컴퓨팅 자원을 더 추가해도 크게 도움이 되지 않을 것이다.

- 위 요점과 관련하여, 휴리스틱 콘테스트는 AI 에이전트에게 흥미로운 벤치마크가 될 수 있다. 이는 복잡한 개방형 문제를 다루면서도 최종적으로는 자신의 성과에 대해 정확하고 즉각적인 피드백을 받는 드문 경우 중 하나이기 때문이다.

- 그리 멀지 않은 미래의 최적의 조합은 인간 전문가의 안내를 받으며 AI 에이전트가 모든 단순 반복 작업을 수행하는 것일 듯하다. 주된 장애물은 대부분의 AI 생성 코드가 지저분하고 비대해지는 경향이 있다는 것이다. 스코어보드를 보면 콘테스트가 진행됨에 따라 실패한 테스트 수가 증가했음이 분명하다. 이는 좋은 징조가 아니다.

- 앞으로 선도적인 AI 연구소들이 자신들의 에이전트를 선보이는 휴리스틱 콘테스트가 더 많아진다고 가정할 때, 적어도 테스팅 예산에 관한 명확한 규칙을 확립하기를 바란다. 또한 이번이 휴리스틱 콘테스트에서 인간이 AI를 이긴 마지막이 아니기를 바란다.

여기까지다. 이것이 우리의 AI 타임라인에 유용한 데이터 포인트가 되었기를 바란다.

원문 링크: 새 창에서 열기

번역: 특이점이온다 갤러리의 초존도초 with Gemini 2.5 Pro Deep Think

[전능의초지능님께서빛이있으라를실현하신다(cabin6174)]

역시 장기기억이 문제이려나

[ㅇㅇ 1(211.202)]

'AI가 질 수밖에 없는 판' '유능하지만 생각 없는 인턴 수준' '방향 없이 무작정 파고드는 일꾼'

[Asi(worship5388)]

핵심 돌파구가 확실히 3~4번 이상은 와야겠다. O1 모먼트처럼 장기기억이나 환각 문제 해결 같은 부분들

[익명(sguyff)]

지금도 성능 어마어마한데 핵심 패러다임이 더 와야함?