[📪정보] RAG 필요 없이 LLM이 '자율 검색'하는 추론 기술 등장

74988077c3f61cf1239a86e0449c706c70b75862516302644ef43f2d517235e649e7b0db71e58959cf703146c537626e30d525e4

서치-R1을 이용한 LLM 추론의 예 (사진=아카이브)

대형언어모델(LLM)이 별도의 검색 증강 생성(RAG) 과정 없이도 자율적으로 검색을 수행하는 추론 기술이 개발됐다. 이 기술을 활용하면 LLM은 실시간 검색을 추론 과정에 통합해 자동으로 쿼리를 생성하고, 검색 결과를 추론에 반영할 수 있다.

일리노이대학교 어바나-샴페인과 매사추세츠대학교 애머스트 연구진은 19일(현지시간) 강화학습(RL)을 통해 LLM이 실시간 검색을 활용한 단계별 추론 과정에서 여러 개의 검색 쿼리를 자율적으로 생성하는 모델 ‘서치-R1(SEARCH-R1)’에 관한 논문을 온라인 아카이브에 게재했다.

LLM이 효과적으로 추론하고 텍스트를 생성하기 위해서는 외부 지식과 최신 정보를 확보하는 것이 필수적이다.

대표적으로 RAG나 도구 사용 방식은 검색엔진을 활용하지만, 멀티턴 검색의 유연성이 부족하거나 대량의 지도 학습 데이터가 요구되는 한계를 가진다.

또 LLM이 추론 과정에서 검색엔진을 사용하도록 유도하는 프롬프팅 기법도 최적의 해결책은 아니라고 지적했다. 이는 LLM이 검색엔진과의 상호작용 방식을 스스로 학습하지 못하기 때문이다.

이런 한계를 해결하기 위해 서치-R1은 LLM이 별도의 검색 단계를 거치지 않고도, 추론 과정에서 직접 검색 쿼리를 생성해 검색 엔진과 상호작용하고 검색 결과를 추론 과정에 통합할 수 있도록 설계됐다.

서치-R1은 반복적인 추론과 검색이 가능하도록 설계됐다. 사고 사슬(CoT)의 단계를 ▲생각(think) ▲검색(search) ▲정보(information) ▲정답(answer) 등으로 세분화, 독립적인 토큰 집합을 생성하도록 학습됐다.

서치-R1은 태그로 표시하는 ‘생각’ 세그먼트에서 외부 정보가 필요하다고 판단하면, 검색 쿼리를 포함한 태그의 ‘검색’ 세그먼트를 생성한다.

생성된 쿼리는 검색 엔진으로 전달되며, 검색 결과는 태그의 ‘정보’ 세그먼트로 삽입돼 컨텍스트 창에 추가된다.

이후 모델은 새롭게 얻은 정보를 기반으로 추론을 이어가며, 마지막으로 태그의 ‘정답’ 세그먼트를 생성해 최종 답변을 출력한다.

LLM이 검색 쿼리를 추론 과정에 자연스럽게 결합하는 것은 어려운 일이다. 이를 쉽게 하기 위해 연구진은 순수 강화학습(RL)만을 사용해 서치-R1을 훈련했다. 이는 인간이 만든 데이터를 사용하지 않고, 모델이 스스로 추론과 검색 도구를 어떻게 사용할지 배울 수 있도록 학습하는 방식이다.

또 서치-R1은 '결과 기반 보상 모델'을 채택해 최종 응답의 정확성만으로 평가한다. 이 방식 덕분에 모델의 추론 과정을 검증하는 복잡한 보상 모델을 만들 필요가 없다.

이는 '딥시크-R1-제로(DeepSeek-R1-Zero)'와 비슷한 것으로, 모델이 주어진 작업을 마친 뒤 결과만으로 평가받는 것이다. 순수 RL을 사용하면 '지도 미세조정(SFT)'을 위해 인간이 주석을 단 데이터셋을 생성할 필요가 없다는 장점도 있다.

연구진은 "서치-R1은 검색 증강 RL을 도입해 검색 기반 의사 결정 능력을 강화한 딥시크-R1의 확장 버전"이라고 설명했다.

벤치마크 결과 (사진=아카이브)

연구진은 서치-R1를 비롯해 CoT 직접 추론, RAG를 통한 추론, SFT 방식 등의 다른 방식을 적용해 '큐원-2.5'와 '라마-3.2'를 미세조정하고 비교 평가했다.

7개의 질의응답(QA) 데이터셋을 사용한 벤치마크 결과, 서치-R1은 큐원-2.5-7B에서 26%, 큐원-2.5-3B에서 21%, 라마-3.2-3B에서 10%의 성능 향상을 달성했다.

이는 LLM 추론에 검색 기능을 통합하면 외부 지식에 더 쉽게 접근할 수 있어 성능이 개선된다는 것을 보여준다는 평이다.

또 자율적인 검색 쿼리 생성 및 실시간 정보 통합 능력은 RAG를 주로 사용하는 기업에 영향을 미칠 가능성이 있다.

서치-R1의 코드는 깃허브에서 다운로드할 수 있다.

박찬 기자 cpark@aitimes.

싹다 RL시켜.

[📪정보] RAG 필요 없이 LLM이 '자율 검색'하는 추론 기술 등장

댓글 5

다른 게시글