[📪정보] 생각의 시각화는 대규모 언어 모델에서 공간 추론을 이끌어냅니다.

[익명(125.191)]

https://arxiv.org/abs/2404.03622

대형 언어 모델(LLM)은 언어 이해와 다양한 추론 작업에서 인상적인 성능을 보여주었다. 그러나 인간의 인지에 있어 중요한 측면인 공간 추론 능력은 상대적으로 충분히 탐구되지 않았다. 인간은 '마음의 눈'으로 알려진 과정을 통해 보이지 않는 물체와 행동에 대한 심상을 만드는 놀라운 능력을 가지고 있어, 보이지 않는 세계를 상상할 수 있게 한다. 이러한 인지 능력에 영감을 받아 우리는 Visualization-of-Thought(VoT) 프롬프팅을 제안한다. VoT는 추론 과정을 시각화하여 LLM의 공간 추론을 이끌어내고, 이를 통해 후속 추론 단계를 안내하는 것을 목표로 한다. 우리는 자연어 내비게이션, 시각적 내비게이션, 2D 그리드 월드에서의 시각적 타일링 등 다중 홉 공간 추론 작업에 VoT를 적용하였다. 실험 결과, VoT는 LLM의 공간 추론 능력을 크게 향상시키는 것으로 나타났다. 특히 VoT는 이러한 작업에서 기존의 멀티모달 대형 언어 모델(MLLM)보다 우수한 성능을 보였다. VoT가 LLM에서 놀랍도록 잘 작동하는 반면, 공간 추론을 용이하게 하기 위해 '정신 이미지'를 생성하는 능력은 마음의 눈 과정과 유사하여, MLLM에서도 잠재적인 실행 가능성을 시사한다.

[익명(211.212)]

[익명(125.191)]

[난난난(decid)]

[익명(1.239)]

[익명(175.124)]

[익명(115.143)]

얼마 안남았다 진짜 더 가속해

[익명(59.28)]

프롬프팅 기법들 뭔가 말은 거창한데 실제로 그만한 성능을 보여주는지는 모르겠다

[디시콘발사대(fcbjsjmu1t9f)]

[디시콘발사대(fcbjsjmu1t9f)]

학습 단계에서 뭔가 하는 거라면 변화가 나올 법한데 프롬프트만으로 뭘 한다 하면... 기대가 안되긴 해

[부패하는유전자!!!(sansss2015)]