주요 목표는 고정밀 필터로서 저자들이 제출물의 품질을 끌어올리도록 돕는 것입니다. 이 도구는 인간 리뷰어가 놓치거나 자세히 다룰 시간이 부족할 수 있는 증명, 실험 설정, 추론의 미묘한 오류를 잡는 데 도움이 되도록 설계되었습니다.
이를 위해, 표준 공개 LLM보다 더 능력 있는 모델을 활용합니다. 국제 수학 올림피아드(IMO)에서 금메달 성능을 달성한 Gemini 모델 관련 추론 중심 파이프라인을 이용합니다. ML 학회 구조에 특화된 파이프라인을 설계함으로써 범용 도구 대비 뚜렷한 이점을 제공합니다. STOC 실험의 사후 분석에서, 저자들은 이 비공개 모델들이 공개 대안보다 의미 있게 우수한 품질을 제공한다고 일관되게 확인했습니다.
우리는 이 도구가 우리 과학적 제출물의 기준을 높이기 위한 책임 있는 AI 사용을 개척할 수 있는 독특한 기회라고 믿습니다. 실험이 종료되면 결과를 ICML 블로그를 통해 더 넓은 커뮤니티와 공유할 예정입니다.
원래 정보글로 길게 썼는데 글 안올라가고 자꾸 유실됨.. 일단 평가용 X, 리뷰어들이나 AC, SAC도 접근 권한 X 등등 그냥 저자들 편의를 위한 툴임
디시 글 사라지는거 좆같지...
헐 imo 모델한테 평가 받으러 간다