[📪정보] LCM, Meta AI가 공개한 개념 기반의 대규모 모델

[익명(winter2278)]

https://discuss.pytorch.kr/t/lcm-large-concept-models-meta-ai/5744

LCM(Large Concept Models), Meta AI가 공개한 개념 기반의 대규모 모델

LCM(Large Concept Models) 연구 소개

대규모 언어 모델(Large Language Model, LLM)은 자연어 처리 분야에서 주목받으며 많은 작업에서 혁신적인 성과를 보여주고 있습니다. 그러나 대부분의 LLM은 토큰 단위에서 작동하며, 인간처럼 문장이나 고차원적 추상 수준에서 사고하지 못합니다. 이에 Meta의 연구팀은 LLM의 한계를 극복하기 위해 새로운 아키텍처인 ’Large Concept Model(LCM)’을 제안합니다.

LLM은 텍스트 분석, 요약, 생성 등의 작업에서 뛰어난 성능을 보여줍니다. 하지만 대부분의 LLM은 입력과 출력을 처리할 때 단어 단위의 토큰으로만 작동하여, 인간의 사고 방식과는 거리가 있습니다. 예를 들어, 인간은 복잡한 문서를 분석할 때 단어보다 문장이나 단락 단위의 의미를 이해하고 이를 바탕으로 계획을 세웁니다.

LCM은 이러한 인간 사고 방식을 모델링하기 위해 등장했으며, 문장 표현 공간에서 동작합니다. 이를 통해 언어와 모달리티에 구애받지 않는 고차원 의미를 처리하여 다국어(Multilingual) 및 긴 문맥(Long-form Context) 처리가 필요한 작업에서 뛰어난 제로샷 학습 성능을 발휘합니다. 특히, 문장 표현 공간에서 작동하는 LCM의 접근 방식은 멀티모달(Multimodal) 및 다국어 데이터를 보다 효율적으로 처리하고, 인간의 추론 패턴에 가까운 계층적 사고를 지원하여 기존 모델보다 뛰어난 성능을 보입니다.

LCM 모델 개요

LCM(Local Concept Models)은 “개념(Concept)”을 의미 단위로 사용하여 토큰 기반 제약을 벗어나 보다 의미론적인 추론을 수행합니다. 이 때 개념은 문장 수준에서 표현되어 특정 언어에 얽매지이 않고 독립적인 처리를 가능하게 합니다. 이를 위해 LCM은 SONAR 임베딩 공간을 활용하여 문장을 표현합니다. 이러한 "개념 임베딩 공간(E.mbedding Space of Concepts)"은 200개 이상의 언어를 지원하며, 텍스트와 음성 모달리티를 통합적으로 처리할 수 있습니다. SONAR는 번역, 디노이징 오토인코딩(denoising autoencoding), MSE (Mean Squared Error) 손실 최적화를 결합하여 설계되었습니다.

위 그림은 대규모 개념 모델(LCM, Large Concept Models)를 시각적으로 표현한 것입니다. 우측의 LCM 기본 아키텍처를 살펴보면, 먼저 입력 데이터를 문장과 같은 컨셉 시퀀스(Sequence of Concepts)로 분리한 후, Concept Encoder를 사용하여 SONAR 임베딩으로 인코딩합니다. 이후 LCM에서는 이러한 컨셉 시퀀스를 처리하여 새로운 컨셉 시퀀스를 생성하고, 이를 Concept Decoder를 사용하여 다시 문장으로 변환하는 구조입니다.

좌측의 그림은 요약 작업(Summarization Task)에서 임베딩 공간의 추론(reasoning in an e.mbedding space) 과정을 시각화한 것으로, 5개의 컨셉 표현(Concept Representations)를 2개의 새로운 컨셉 표현으로 매핑되는 예시입니다. 이러한 컨셉은 SONAR를 사용하여 문장 수준에서 임베딩된 결과를 의미하며, 이를 통해 의미론적 수준의 연산이 가능합니다.

이러한 LCM의 아키텍처에서 중요한 점은 입력 언어 및 모달리티와 무관하게 추론이 수행되며, 출력도 동일하게 독립적으로 생성할 수 있게 됩니다.

LCM은 기본 모델(Base-LCM) 및 디퓨전 기반(Diffusion-based LCM)의 2가지 모델 구조(One-Tower Diffusion LCM, Two-Tower Diffusion LCM), 양자화(Quant-LCM)의 3가지 버전으로 나뉩니다:

ㆍBase-LCM(기본 모델): 단순한 자기회귀적 문장 예측 모델

ㆍDiffusion-based LCM: Diffusion 기반 LCM 모델로, One-Twoer Diffusion 및 Two-Tower Diffusion LCM의 2가지 모델 존재

ㆍQuant-LCM: SONAR 임베딩 공간을 이산화하여 효율성을 높인 모델

LCM 모델과 기존 LLM과의 성능 비교

요약(Summarization) 성능 비교

먼저 LCM 모델과 기존 LLM과의 CNN DailyMail 및 XSum 요약 결과를 먼저 비교해보았습니다. CNN DailyMail 데이터셋은 CNN의 기사를 기반으로 기사의 본문과 함께 기사의 주요 요약(Highlights)을 제공하는 데이터셋으로, 본문을 기반으로 추출적 요약(Extractive Summarization) 성능을 측정합니다. XSum 데이터셋은 BBC 뉴스 기사 데이터를 기반으로 본문과 함께 단일 문장으로 구성된 요약(Headline)을 제공하는 데이터셋으로, 본문 내용을 요약하는 추상적 요약(Abstractive Summarization) 성능을 측정합니다:

실험 결과 LCM은 기존 LLM보다 추상적 요약 생성 능력(낮은 OVL-3, REP-4)에서 강점을 보였습니다. 문법적 유창성(CoLA) 및 원문 의미 충실성(SH-4, SH-5)에서 LLM보다 낮은 성능을 보였지만, 이는 LCM이 보다 독창적이고 추상적인 요약을 생성하는 데 초점을 맞추고 있음을 반영합니다.

긴 문맥에서의 요약(Long-Context Summarization) 성능 비교

다음으로 긴 문서를 요약하기 위한 장문 요약(Long-Context Summarization)을 위한 LCFO 데이터셋을 사용하여 성능을 측정 및 비교하였습니다. LCFO 데이터셋의 평균 문서 길이는 약 5,000단어로, 상당히 긴 텍스트를 포함하고 있습니다. 요약문은 입력 문서 길이의 20%, 10%, 5%로 제한된 길이를 가지도록 요구하고 있어, 긴 문서를 기반으로 얼마나 추상적인 요약(Abstractive Summarization)을 잘 생성하는지를 측정합니다:

긴 문서의 일부(5%, 10%, 20%)를 요약하는 실험 결과, Two-Tower-7B-IT 모델이 요청된 요약 길이에 가장 적합한 WR(Word Ratio) 점수를 기록하여, 긴 문서 요약에서도 안정적인 성능을 보였습니다. 그 외 LLaMA-3.1-8B 모델도 R-L에서 높은 점수를 기록했지만, 이는 사전 학습 데이터와의 중복 가능성 때문으로 보입니다. 또한 Two-Tower 모델은 REP-4 점수가 가장 낮아 반복이 적은 요약을 생성했습니다. 이는 다른 모델보다 깔끔한 요약을 생성하는 데 탁월함을 보여줍니다.

이러한 비교를 통해 전체적으로 LCM이 LLM 대비 긴 문서 요약에서도 반복을 줄이고 추상적 요약을 생성하는 강점을 보이는 것을 확인할 수 있었습니다.

LCM 확장(Large Concept Model Extensions)

LCM은 기존의 대형 언어 모델(LLM)과 달리 문장 수준에서 작동하며, 이를 통해 언어 모델링의 새로운 가능성을 열었습니다. 이 섹션에서는 LCM의 주요 확장 영역을 다룹니다.

우선, Diffusion 기반 확장은 LCM이 문장 임베딩을 점진적으로 정제하는 방식을 도입합니다. Diffusion은 원래 이미지 생성 모델에서 널리 사용되었지만, LCM은 이를 텍스트 도메인으로 성공적으로 가져와 문맥 정보를 보존하면서 새로운 문장을 생성하는 데 활용합니다. 특히, One-Tower와 Two-Tower 구조는 문맥 처리와 노이즈 제거를 각각 효율적으로 수행하며, 이 두 접근법은 복잡한 문맥을 다룰 때 탁월한 성능을 보입니다.

또한, 양자화된 LCM(Quantized LCM)은 연속적 SONAR 벡터를 이산적 코드북(discrete codebook)으로 변환하여 모델링의 효율성을 크게 향상시켰습니다. 양자화는 메모리 사용량을 줄이고, 샘플링 과정에서 온도 조절(Temperature Control) 및 Top-k 샘플링과 같은 기법을 통해 생성 다양성을 극대화합니다. 이는 특히 저자원 환경에서의 활용 가능성을 높이며, 효율성을 극대화하려는 작업에 적합합니다.

LCM의 또 다른 강점은 다중 모달리티(multi-modality) 지원으로, 텍스트와 음성을 통합적으로 처리할 수 있는 능력을 갖추고 있습니다. 이를 통해 음성 데이터를 텍스트로 변환하거나 다국어를 지원하는 등의 작업이 가능해졌습니다. SONAR 임베딩 공간은 이미 다국어 및 음성 데이터를 처리할 수 있는 기반을 제공하며, 향후에는 비디오와 같은 비텍스트적 데이터로도 확장될 가능성이 있습니다.

이처럼 LCM은 Diffusion, 양자화, 다중 모달리티 등 여러 측면에서 확장 가능성을 제시하며, 기존 LLM이 다루기 어려운 저자원 데이터 및 다국어 작업에서도 강력한 성능을 발휘합니다. 이는 언어 모델링의 새로운 방향성을 제시하며, 실질적인 응용 가능성을 더욱 확대합니다.

결론: 관련 연구 및 한계점

관련 연구(Related Works)

LCM과 관련된 기존 연구는 LLM, Diffusion 모델, 양자화 기법, 다중 모달리티 학습 등 여러 분야에서 기반을 두고 있습니다. 우선, LCM은 GPT-3, T5와 같은 기존 LLM과 비교됩니다. 기존 LLM은 주로 토큰 수준에서 작동하며, 자기 회귀적 구조를 통해 문맥 정보를 유지합니다. 하지만 LCM은 문장 단위에서 작동하며, 더 높은 수준의 추상적 개념 표현을 사용하는 것이 특징입니다.

Diffusion 모델은 이미지 생성에서 널리 사용되는 기술로, 데이터를 점진적으로 정제하며 최종 결과를 생성합니다. LCM은 이러한 Diffusion 기술을 문장 임베딩 생성에 적용하여, 문맥 정보를 점진적으로 복원하고 정제하는 방식을 채택했습니다. 이를 통해 LCM은 기존 언어 모델이 처리하기 어려운 복잡한 문맥 관계를 효과적으로 학습합니다.

또한, LCM의 양자화된 임베딩 기법은 Vector Quantization(VQ) 및 Residual Vector Quantization(RVQ) 기술에 기반을 둡니다. 이러한 기술은 연속적 벡터를 이산적 코드로 변환하여, 메모리 사용량을 줄이고 추론 속도를 높이는 데 기여합니다. 이는 특히 대규모 모델에서 중요한 성능 향상을 가져옵니다.

다중 모달리티 학습은 CLIP과 같은 기존 연구에서 영감을 얻었으며, 텍스트와 음성을 통합적으로 처리하는 데 초점을 맞춥니다. LCM은 이러한 접근법을 기반으로 SONAR 임베딩 공간을 활용해 텍스트와 음성을 연결하며, 다국어 데이터 처리에서 강점을 발휘합니다. 이러한 연구는 LCM의 설계와 발전에 직접적인 영향을 미쳤으며, 모델의 고유한 특징을 더욱 강화하는 데 기여했습니다.

한계점(Limitations)

LCM은 혁신적인 구조와 강력한 성능을 제공하지만, 현재 설계와 구현에는 몇 가지 제약 사항이 존재합니다. 첫 번째로, 학습 데이터의 크기와 다양성 부족이 중요한 문제로 지적됩니다. LCM은 주로 짧은 문장과 제한된 문맥에서 학습되었기 때문에 긴 문서를 처리하거나 복잡한 문맥을 학습하는 데 한계가 있습니다. 이는 특히 긴 문서 요약 작업(LCFO 데이터셋)에서의 성능 저하로 나타납니다. 향후 더 긴 문맥을 포함하는 데이터로의 학습이 필요합니다.

두 번째로, Diffusion 기반 구조와 양자화된 모델은 높은 계산 비용을 요구합니다. Diffusion 모델은 노이즈 제거를 위한 여러 샘플링 단계가 필요하기 때문에 추론 속도가 느릴 수 있으며, 이는 실시간 응용에서의 제약으로 작용할 가능성이 있습니다. 양자화된 LCM은 메모리 효율성을 제공하지만, 양자화 과정에서 발생하는 정보 손실은 생성된 문장의 품질 저하로 이어질 수 있습니다.

세 번째로, LCM의 다중 모달리티 지원은 텍스트와 음성에 초점이 맞춰져 있지만, 이미지나 비디오와 같은 복잡한 비텍스트 모달리티 데이터를 처리하는 능력은 아직 제한적입니다. 이를 확장하기 위해서는 새로운 학습 데이터와 아키텍처의 개선이 필요합니다.

마지막으로, 현재 사용되는 평가 메트릭(예: ROUGE, CoLA)은 LCM의 독창적이고 추상적인 요약 능력을 완벽히 반영하지 못할 수 있습니다. 기존의 메트릭은 주로 추출적 요약이나 단순한 문법 평가에 초점이 맞춰져 있어, LCM의 장점을 충분히 측정하지 못할 가능성이 있습니다. 이는 더 적합한 메트릭을 개발해야 하는 필요성을 강조합니다.

이러한 제약 사항에도 불구하고, LCM은 혁신적인 접근법과 실질적인 가능성을 통해 언어 모델링의 새로운 기준을 제시하고 있습니다. 향후 연구는 이러한 제약을 해결하는 데 초점을 맞출 것이며, 이는 LCM의 확장성과 실질적인 활용 가능성을 더욱 강화할 것입니다.

https://arxiv.org/html/2412.08821v2

Large Concept Models: Language Modeling in a Sentence Representation Space

https://github.com/facebookresearch/large_concept_model

GitHub - facebookresearch/large_concept_model: Large Concept Models: Language modeling in a sentence representation space

[Borazine(player4081)]

[천사다천사(jjtheman999)]

[익명(vehicle0216)]

뭔 말인지 모르겠다...ㅠ