결론부터 말하면, 데이터셋 이름은 SWE Bench 계열을 쓰지만 “평소에 많이 말하는 SWE Bench 점수”와는 평가 대상과 지표가 달라서, 숫자를 그대로 비교하면 안 된다.

1. 

  이 논문이 말하는 93.7은 문제를 “풀었다”가 아니라 “고칠 위치를 맞혔다”다


논문 초록이 SWE Bench Verified에서 93.7% Acc@5를 “repository understanding” 성능으로 보고한다고 명시한다. 여기서 Acc@5는 보통 정답 위치가 후보 상위 5개 안에 들어가면 맞음으로 치는 로컬라이제이션 지표로 읽는다.  


2.  

  많은 사람들이 말하는 SWE Bench 성능은 “패치 생성 후 테스트로 해결 여부 확인”이다


SWE Bench 공식 가이드는 SWE Bench가 모델이 패치를 만들고, 그 패치를 실제 레포에 적용한 뒤 테스트 실행으로 해결 여부를 평가하는 벤치마크라고 설명한다. 이때 흔히 말하는 점수는 인스턴스가 “Resolved” 되었는지 같은 해결률 계열이다.  


3. 

  그래서 “평소에 쓰는 것”이 무엇이냐에 따라 답이 달라진다


 당신이 평소에 SWE Bench를 “엔드 투 엔드로 패치 생성해서 해결률을 보는 용도”로 쓴다면, 이 논문의 SWE Bench 사용은 사실상 다른 문제를 풀고 있는 셈이라 수치 비교가 성립하지 않는다.  

 

 반대로 평소에도 issue localization 실험을 하고 Acc@k 같은 지표를 보고 있었다면, 같은 계열 평가를 한 것이고, 차이는 주로 구현 디테일(정답 위치 정의를 파일 수준으로 할지 함수 수준으로 할지, 정답을 “수정된 모든 위치”로 볼지 “핵심 위치”로 볼지) 쪽에서 생긴다.


4. 

 한 가지 더

 논문은 Verified뿐 아니라 SWE Bench Live Lite도 언급한다. Live 계열은 Verified와는 다른 split 또는 다른 세트이므로, 당신이 고정된 Verified나 Lite만 써왔다면 데이터 자체도 일부 달라진다.  


반론 1개

 로컬라이제이션이 높으면 패치 성공률 상한을 끌어올릴 가능성은 있다. 다만 로컬라이제이션이 높아도 패치 생성, 테스트 수정, 회귀 방지 같은 단계에서 실패하면 해결률은 낮을 수 있어, 여전히 “해결 성능”을 대체하지는 못한다.