강점: 짧은 코드, 적은 수의 파일이 있을 때 막강한 위력을 발휘

예를 들어서, 코테처럼 순수하게 기능 하나만 구현해야 할 때는 시간 대비 성능이 인간을 아득히 초월함

마찬가지로, 많아봤자 10개 이하의 파일들이 엮여있는 단순한 플젝에선 굉장한 퍼포먼스와 위력을 보여줌


강점 영역 요약:

1. 긴 코드가 필요가 없는 단순 매크로

2. 적은 수의 코드로 유지되는 토이 프로젝트

3. 코딩 테스트처럼 잘 정제된 요구사항


이런 영역은 이미 인간 초월을 넘보고 있고, 근시일내에 인간을 초월할 가능성 높음





단점: 긴 코드, 많은 수의 파일이 있을 때 성능이 급감

실무에선 코드가 만줄을 기본으로 넘기며, 엮여있는 파일도 백단위는 가뿐히 넘긴다

이런 대규모 프로그램에선 하나의 버그에 파일이 여러 개 엮여있는 경우가 부지기수인데, 해당 영역에선 아직 실망스럽다

실제로 ai 모델들의 SWE-Bench 를 보면, 파일 1개만 고치면 되는 문제는 높은 정답률을 보여주는데 반해, 고쳐야 하는 파일 갯수가 늘어날수록 정답률이 급락하는 모습을 보인다


클로드 3.7이 정답률 70%를 달성했다는 SWE-Bench verified 의 문제들을 자세히 보면:

429개의 문제가 파일 하나 고치면 되는 문제

49개의 문제가 파일 두 개 고치면 되는 문제

12개의 문제가 파일 세 개 고치면 되는 문제로

총 500개의 문제 중 490개의 문제가 3개 이하의 파일을 고치는 문제로 구성되어 있다.


그리고 클로드 3.5를 기준으로,

파일 1개만 고치는 문제는 정답률이 60%를 뚫는데 반해,

파일 2개 이상을 고쳐야 하는 문제에선 정답률이 20%대로 급락하는 모습을 보인다


그럼에도 파일 1개만 고치는 문제가 전체 문제의 80%를 넘기 때문에 총 점수가 50점 이상이란 준수해보이는 성적을 내는 것




단점 영역 요약:

1. 복합적인 코드 분석이 필요한 버그 수정

2. 만 줄은 우습게 넘기는 절대 다수의 상용 프로젝트

3. 정제되지 않은 요구사항




종합 요약:

1. 장기기억이 필요할때마다 성능 급락이 발생

2. ai를 제대로 쓰려면 긴 맥락을 잘게 잘라주는 작업이 필요하다

3. 내가 볼 땐 장기기억이 마지막 관문, 이것만 넘으면 인간 노동의 학살이 시작된다