[📪정보] [논문] 추론 능력과 단순 기억력을 구분하는 새로운 질문 기법

[초존도초(htr3c654r6ft)]

None of the Others: LLM 평가에서 추론과 기억 구별을 위한 다중 선택 질문 변형 기법

초록

대형 언어 모델(LLM) 평가에서는 추론 능력과 단순 기억을 구분하기 위해 수학 관련 질문에 숫자를 변형하는 방법을 흔히 사용합니다.

본 연구에서는 다중 선택 질문에 적용할 수 있는 새로운 일반 변형 기법을 소개합니다.

이 기법은 정답을 모델이 이전에 접한 토큰이나 개념과 완전히 분리함으로써,

모델이 정답을 도출하기 위해 반드시 이해하고 추론해야 하며 단순히 기억에 의존할 수 없도록 설계되었습니다.

이 방법을 활용해 영어와 스페인어로 제공되는 두 개의 데이터셋—공개된 MMLU 벤치마크와 비공개 UNED-Access 2024 데이터셋—을 사용해

최신 독점 및 오픈 소스 대형 언어 모델을 평가했습니다.

결과는 모든 모델이 제안된 변형을 적용했을 때 정확도가 크게 하락했음을 보여줍니다.

MMLU에서는 평균 57%, UNED-Access 2024에서는 평균 50%의 정확도 감소가 관찰되었으며,

모델에 따라 10%에서 93%까지 다양한 하락 폭을 보였습니다.

특히 실험에서 가장 높은 정확도를 기록한 모델(OpenAIo3-mini)이 가장 견고한 모델(DeepSeek-R1-70B)이 아니었는데,

이는 표준 평가에서 우수한 성능을 보이는 모델이 반드시 더 나은 추론 능력을 갖춘 것은 아님을 시사합니다.

또한, 공개 데이터셋(비공개 데이터셋 대비)과 원래 언어로 제시된 질문(수동 번역된 질문 대비)에서 더 큰 정확도 하락이 나타났으며,

이는 데이터 오염의 증거이자 현재 대형 언어 모델의 답변에서 기억이 중요한 역할을 한다는 점을 보여줍니다.

[ㅇㅇ 1(14.42)]

언제쯤 확률론적 앵무새를 벗어나려나ㅠㅠ - dc App