[📪정보] 딥마인드의 SI(Selection-Inference) 프레임워크

[익명(1.239)]

[2205.09712] Selection-Inference: Exploiting Large Language Models for Interpretable Logical Reasoning (arxiv.org)

초록
LLM(Large Language Model)은 새로운 작업에 대한 인상적인 몇 번의 일반화를 수행할 수 있는 것으로 나타났습니다. 그러나 그들은 여전히 다단계 논리적 추론 문제에서 제대로 수행하지 못하는 경향이 있습니다. 여기에서 논리적 추론의 다양한 측면을 조사하는 50개 작업에 대한 LLM에 대한 포괄적인 평가를 수행합니다. 우리는 언어 모델이 단일 단계 추론 또는 수반 작업에서 상당히 잘 수행하는 경향이 있지만 더 복잡한 문제를 해결하기 위해 여러 추론 단계를 함께 연결하는 데 어려움을 겪는다는 것을 보여줍니다. 이에 비추어 우리는 사전 훈련된 LLM을 일반 처리 모듈로 활용하고 선택과 추론을 번갈아 가며 최종 답변으로 이어지는 일련의 해석 가능한 우연한 추론 단계를 생성하는 SI(Selection-Inference) 프레임워크를 제안합니다. 미세 조정 없이 5단계 일반화 설정에서 SI 프레임워크 내에서 사용된 7B 매개변수 LLM이 10가지 논리적 추론 작업 모음에서 동등한 기본 기준과 비교하여 100% 이상의 성능 향상을 가져온다는 것을 보여줍니다. 동일한 설정의 동일한 모델은 동일한 작업 제품군에서 훨씬 더 큰 280B 매개변수 기준선보다 성능이 훨씬 뛰어납니다. 또한 SI 프레임워크에 의해 생성된 답변에는 인과적 자연어 기반 추론 추적이 수반되며, 이는 시스템의 안전성과 신뢰성에 중요한 영향을 미칩니다.


결론
우리는 자연 언어로 표현된 논리적 추론 문제를 해결하기 위해 사전 훈련된 언어 모델의 능력을 향상시키기 위한 선택-추론 프레임워크를 제시했습니다. 우리의 접근 방식은 논리적 추론을 추론 정확도를 크게 향상시킬 뿐만 아니라 인과적 해석 가능한 추론 추적을 생성하는 모듈식 재귀 파이프라인으로 분해하기 위해 신경 기호 접근 방식의 모범 사례를 차용합니다. 우리는 SI 프레임워크에 사용된 프롬프트 엔지니어링 LLM이 동일한 설정에서 평가된 기본 및 COT 기준선과 심지어 40배 더 큰 기준선을 훨씬 능가한다는 것을 입증했습니다. SI 프레임워크의 성능은 단계별 추론 데이터를 사용할 수 있는 경우 미세 조정을 통해 더욱 향상될 수 있습니다. 캐주얼하고 해석 가능하며 논리적으로 유효한 다단계 추론이 가능한 모델은 법률, 의학, 과학, 수학, 경제 및 기타 신뢰할 수 있고 검증 가능한 논리적 추론이 중요한 분야에서 잠재적으로 적용될 수 있습니다. 동시에 우리는 이러한 설정에 배포하기 전에 이러한 모델을 평가하기 위해 특별한 주의가 필요하다는 것을 알고 있습니다. 예를 들어 선택 모듈을 개선하기 위한 추가 작업도 필요합니다(예: 모델 검색을 허용하고 다양한 추론 추적을 평가). 중단 문제를 해결하기 위해(선택을 중단할 때와 전반적인 추론을 중단할 때 모두) 잘못된 추론이 컨텍스트에 추가되는 것을 방지하는 데 도움이 되는 검증자를 통합합니다. 시스템이 데이터 세트에서 제공되는 것에 의존하지 않고 자체 관련 컨텍스트를 제공할 수 있도록 합니다. 모호하거나 대답할 수 없는 질문을 처리하는 시스템의 능력을 확장합니다.

[ㅇㅇㅇ(14.38)]