[📪정보] (MIT) 모든 언어에서 AI 생성 코드의 정확성을 높이다

[초존도초(htr3c654r6ft)]

모든 언어에서 AI 생성 코드의 정확성을 높이다

새로운 기술은 LLM이 사용 중인 프로그래밍 언어나 기타 형식의 규칙을 준수하는 결과물을 내놓도록 자동으로 유도합니다.

Adam Zewe | MIT News

게재일: 2025년 4월 18일

이제 프로그래머들은 대규모 언어 모델(LLM)을 사용하여 컴퓨터 코드를 더 빠르게 생성할 수 있습니다. 하지만 이 코드가 프로그래밍 언어의 규칙을 따르고 컴퓨터 충돌을 일으키지 않을 때만 프로그래머의 삶이 더 편해집니다.

LLM이 생성하는 텍스트가 해당 언어의 규칙을 따르도록 보장하는 몇 가지 방법이 존재하지만, 이들 중 다수는 모델의 의도된 의미를 왜곡하거나 복잡한 작업에는 너무 시간이 많이 걸려 실용적이지 못합니다.

MIT 등의 연구원들이 개발한 새로운 접근 방식은 LLM이 특정 프로그래밍 언어와 같은 관련 언어의 규칙을 준수하면서도 오류 없는 텍스트를 생성하도록 자동으로 안내합니다. 이 방법은 LLM이 유효하고 정확할 가능성이 높은 결과물에 노력을 집중하고, 가능성이 낮은 결과물은 프로세스 초기에 폐기하도록 합니다. 이러한 확률적 접근 방식은 연산 효율성을 높입니다.

이러한 효율성 향상 덕분에, 연구원들의 아키텍처는 분자 생물학 및 로봇 공학을 포함한 여러 실제 사용 사례에서 정확하고 적절하게 구조화된 결과물을 생성하는 데 있어 소형 LLM이 훨씬 더 큰 모델을 능가할 수 있게 했습니다.

장기적으로 이 새로운 아키텍처는 비전문가들이 AI 생성 콘텐츠를 제어하는 데 도움을 줄 수 있습니다. 예를 들어, 비즈니스 전문가가 자연어 프롬프트만 사용하여 데이터베이스 조작 언어인 SQL로 복잡한 쿼리를 작성할 수 있게 할 수 있습니다.

"이 연구는 연구 차원을 넘어선 의미를 지닙니다. AI 생성 결과물이 유용하고 정확하게 유지되도록 보장함으로써 프로그래밍 보조 도구, AI 기반 데이터 분석, 과학적 발견 도구를 개선할 수 있습니다."라고 MIT 대학원생이자 이 프레임워크에 대한 논문의 공동 제1 저자인 주앙 로울라(João Loula)는 말합니다.

이 논문에는 로울라 외에도 공동 제1 저자인 밀라-퀘벡 인공지능 연구소의 연구 조교 벤자민 르브룅(Benjamin LeBrun), 존스 홉킨스 대학의 대학원생 리 두(Li Du)가 참여했습니다. 공동 시니어 저자로는 MIT 뇌인지과학과 확률론적 컴퓨팅 프로젝트 책임 연구 과학자이자 리더인 비카쉬 만싱카(Vikash Mansinghka) (’05, MEng ’09, PhD ’09), 예일 대학교 조교수 알렉산더 K. 류(Alexander K. Lew) (SM ’20), ETH 취리히 박사후 연구원 팀 비에이라(Tim Vieira), 그리고 국제 팀을 이끈 맥길 대학교 부교수이자 밀라의 캐나다 CIFAR AI 의장인 티모시 J. 오도넬(Timothy J. O’Donnell) 및 여러 연구자들이 함께했습니다. 이 연구는 국제 학습 표현 컨퍼런스(ICLR)에서 발표될 예정입니다.

구조와 의미의 강제

LLM이 생성하는 구조화된 텍스트를 제어하는 일반적인 접근 방식 중 하나는 컴퓨터 코드 블록과 같은 전체 결과물을 검사하여 유효하고 오류 없이 실행될 수 있는지 확인하는 것입니다. 그렇지 않다면 사용자는 처음부터 다시 시작해야 하며, 이는 연산 자원을 소모합니다.

다른 한편으로, 프로그래머는 진행 중에 결과물을 멈추고 확인할 수도 있습니다. 이렇게 하면 코드가 프로그래밍 언어를 준수하고 구조적으로 유효한지 확인할 수 있지만, 코드를 점진적으로 수정하면 사용자가 의도한 의미에서 벗어나 장기적으로 정확성이 떨어질 수 있습니다.

"의미보다는 구조를 강제하는 것이 훨씬 쉽습니다. 어떤 것이 올바른 프로그래밍 언어로 되어 있는지는 빠르게 확인할 수 있지만, 그 의미를 확인하려면 코드를 실행해야 합니다. 우리 연구는 이러한 다양한 유형의 정보를 다루는 것이기도 합니다."라고 로울라는 말합니다.

연구원들의 접근 방식은 LLM에 지식을 설계하여 가장 유망한 결과물로 유도하는 것을 포함합니다. 이러한 결과물은 사용자가 정의한 구조적 제약을 따를 가능성이 높고, 사용자가 의도한 의미를 가질 가능성이 높습니다.

"우리는 LLM이 이를 수행하도록 훈련시키려는 것이 아닙니다. 대신, 전문가가 가질 법한 지식을 설계하고 이를 LLM의 지식과 결합하는 것입니다. 이는 딥러닝에서 볼 수 있는 것과는 매우 다른 확장 접근 방식을 제공합니다."라고 만싱카는 덧붙입니다.

그들은 이를 순차 몬테카를로(Sequential Monte Carlo)라는 기술을 사용하여 달성하는데, 이 기술은 LLM에서 생성된 병렬 결과물들이 서로 경쟁하도록 합니다. 모델은 결과물이 얼마나 유망해 보이는지에 따라 병렬 연산의 다른 스레드에 동적으로 자원을 할당합니다.

각 결과물에는 구조적으로 유효하고 의미론적으로 정확할 가능성을 나타내는 가중치가 부여됩니다. 연산의 각 단계에서 모델은 더 높은 가중치를 가진 것들에 집중하고 나머지는 버립니다.

어떤 의미에서는, LLM이 각 단계에서 올바른 선택을 하도록 전문가가 옆에서 지켜보면서 전체 목표에 집중하도록 하는 것과 같습니다. 사용자는 원하는 구조와 의미, 그리고 결과물을 확인하는 방법을 명시하면, 연구원들의 아키텍처가 나머지를 수행하도록 LLM을 안내합니다.

"우리는 어떤 종류의 제약 조건을 통합하든 적절한 가중치를 얻을 수 있도록 어려운 수학적 문제를 해결했습니다. 결국에는 올바른 답을 얻게 됩니다."라고 로울라는 말합니다.

소형 모델의 성능 증폭

그들의 접근 방식을 테스트하기 위해, 연구팀은 이 프레임워크를 네 가지 유형의 결과물(파이썬 코드, SQL 데이터베이스 쿼리, 분자 구조, 로봇 실행 계획) 생성 작업이 주어진 LLM에 적용했습니다.

기존 접근 방식과 비교했을 때, 연구원들의 방법은 더 적은 연산을 요구하면서도 더 정확하게 수행되었습니다.

예를 들어, 파이썬 코드 생성에서 연구원들의 아키텍처는 소형 오픈소스 모델이 크기가 두 배 이상인 특화된 상용 폐쇄 소스 모델보다 뛰어난 성능을 발휘하도록 했습니다.

"우리는 이 작은 모델들이 자신의 체급을 훨씬 뛰어넘는 성능을 발휘할 수 있게 되어 매우 기쁩니다."라고 로울라는 말합니다.

향후 연구원들은 한 번에 작은 조각씩 작업하는 대신, 생성된 텍스트의 더 큰 덩어리를 제어하기 위해 이 기술을 사용하고자 합니다. 또한 그들은 이 방법을 학습과 결합하여, 모델이 생성하는 결과물을 제어함에 따라 모델이 더 정확해지도록 학습하기를 원합니다.

장기적으로 이 프로젝트는 비기술적인 사용자들에게 더 광범위한 응용 가능성을 가질 수 있습니다. 예를 들어, 자동화된 데이터 모델링 시스템 및 데이터베이스의 생성 모델 쿼리 시스템과 결합될 수 있습니다.

이 접근 방식은 또한 기계 보조 데이터 분석 시스템을 가능하게 할 수 있는데, 이 시스템에서는 사용자가 데이터의 의미와 사용자가 묻는 질문의 의미를 정확하게 모델링하는 소프트웨어와 대화할 수 있다고 만싱카는 덧붙입니다.

"언어학의 근본적인 질문 중 하나는 단어, 구, 문장의 의미가 불확실성과 의미 및 참조의 모호성을 고려하면서 어떻게 세상의 모델에 기반을 둘 수 있는가 하는 것입니다. 가능성 있는 토큰 시퀀스를 예측하는 LLM은 이 문제를 다루지 않습니다. 우리 논문은 좁은 상징적 영역에서 단어로부터 기반이 있는 의미에 대한 분포로 매핑하는 것이 기술적으로 가능하다는 것을 보여줍니다. 이는 기계가 우리처럼 세상에 대해 소통할 수 있는 방법을 이해하는 데 필요한 인지 과학, 언어학, 인공 지능의 더 깊은 질문을 향한 작은 발걸음입니다."라고 오도넬은 말합니다.

이 연구는 캐나다 CIFAR AI 의장 프로그램, MIT 지능 탐구 퀘스트(Quest for Intelligence), 컨버전트 리서치(Convergent Research) 등으로부터 부분적으로 자금 지원 및 지원을 받았습니다.

원문 링크

관련 논문 링크