[📪정보] 연구 'AI가 개발자 생산성에 미치는 영향'

Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity

-Joel Becker, Nate Rush, Beth Barnes, Da-vid Rein (METR)

(2025년 초 AI가 개발자에게 미치는 생산성 측정)

1. 소개

2025년 6월, AI가 실제 작업 생산성에 미치는 영향을 측정하기 위해 METR은 16명의 개발자에게 1.1백만 줄이 넘는 대형 오픈소스 리포지토리의 버그, 기능 추가, 리팩토링을 해결하도록 했다. 개발자는 평균 5년 이상의 경력, 약 1,500개의 레포지토리를 제출한 경험이 있는 경력자로 이루어졌다. 결과는 예상과는 다르게 AI 도구를 사용했을 때 개발자들의 생산성이 더 낮았다.

2. 실험 방법

• 110만 줄 이상의 대형 오픈소스 리포지토리에 대해 16명의 경력있는 개발자를 대상으로 버그, 기능, 리팩토링을 해결하도록 함.

• 각 개발자에게 1~2달간 20~40시간을 실험에 참여하도록 하고, METR은 시간당 150달러를 지불함.

• 개발자들에게 AI 도구를 자유롭게 사용하도록 했으며, 그들은 대부분 커서에서 클로드 3.5/3.7을 사용함.

• METR은 개발자로부터 총 143시간의 스크린 영상을 녹화했고, 수동으로 라벨링함.

3. 예상

• ML 연구자들과 경제학자들은 각각 38, 39%의 생산성 향상이 있을 것으로 예상.

• 실험에 참여한 개발자들은 평균 24%의 생산성 향상이 있을 것으로 예상.

4. 결과

• 16명의 개발자들은 총 246개의 문제를 해결했으며, 136개 문제에 대해 AI 도구를 사용함.

• 개발자들은 AI 도구를 사용했을 때 사용하지 않았을 때보다 각 문제에 시간을 평균 19% 더 사용했지만, 사용하지 않았을 때보다 20% 더 빨랐다고 믿고 있었음.

• AI 도구를 사용했을 때, 그들은 평균 44% 미만의 코드에 AI를 사용했으며, 제출한 코드 중 16%가 AI가 생성한 코드였음.

• AI 사용할 때 개발자들은 코딩에서 12%, 코드를 읽는데 7%, 디버깅을 할 때 5% 시간을 덜 소비했지만, AI 출력물을 검토하는데 9%, 프롬프팅을 하는데 8%, AI 응답을 기다리는데 4%, Idle 상태로 3% 시간을 더 소비함.

5. 가설

METR은 SWE-Bench verified, RE-Bench 등의 벤치마크를 통해 현재 LLM이 인간이 1시간이 걸리는 작업을 해결할 수 있으며, 이는 7개월 씩 2배로 늘어나고 있다고 발표했었다. 이것에 대한 METR의 가설:

1. 벤치마크 점수는 정확하지만, 벤치마크에 사용된 중요한 세팅이나 아직 알려지지 않은 방법론적 문제가 있을 수 있다.

2. 우리의 실험 결과가 정확하고, 벤치마크는 실제 AI모델의 능력을 과대평가하고 있다.

3. 우리의 실험과 벤치마크 모두 정확하지만, 현실의 작업에서 AI모델의 능력은 달라질 수 있다.

6. 앞으로

우리 METR은 이러한 연구를 통해 AI 발전의 가속(혹은 감속)을 추적할 수 있게 되어 기쁘다. 이러한 현실 작업에 기반한 측정은 기존 AI 벤치마크보다 어려울 수 있지만 기존 벤치마크의 한계를 보완할 수 있고 AI의 능력과 영향을 더 포괄적으로 이해하는데 도움을 줄 것이다.

[📪정보] 연구 'AI가 개발자 생산성에 미치는 영향'

댓글 2

다른 게시글