결론부터 말하자면 '훈련 데이터 부족'보다는 'LLM 자체의 구조적 취약점'이 더 큰 원인입니다.


텍스트를 처리하도록 설계된 언어 모델이 숫자와 시각적 패턴(차트)을 다룰 때 발생하는 근본적인 한계 때문입니다. 이를 기술적으로 4가지 핵심 요인으로 정리해 드립니다.


1. 토큰화(Tokenization)의 한계: 숫자를 '값'이 아닌 '글자'로 인식

LLM은 텍스트를 처리할 때 '토큰' 단위로 쪼개는데, 이때 숫자의 수학적 의미가 깨집니다.


문제점: 예를 들어 10500이라는 가격 데이터를 인간은 '만 오백'이라는 크기로 인식하지만, LLM은 이를 10, 500 처럼 별개의 텍스트 조각(토큰)으로 인식하는 경우가 많습니다.


결과: 숫자 간의 크기 비교나 연산 능력이 떨어지며, 차트의 미세한 수치 변화를 문맥상 '단어'처럼 처리해버려 논리적 오류(Hallucination)가 발생합니다.


2. 모달리티 격차 (Vision-Language Alignment)

멀티모달 AI(이미지를 보는 AI)라 해도, 차트 이미지를 처리하는 방식은 인간과 다릅니다.


비전 인코더의 한계: 현재 대부분의 멀티모달 모델은 이미지를 픽셀 덩어리(Patch)로 나누어 처리합니다. 이 과정에서 '개와 고양이'를 구별하는 것 같은 의미론적 특징은 잘 잡아내지만, 차트의 막대 높이나 선의 기울기 같은 '정량적 기하학 정보'는 압축 과정에서 손실되기 쉽습니다.


좌표 인식 부재: AI는 눈금을 읽고 좌표를 찍는 것이 아니라, 이미지의 전체적인 '분위기(하락세, 상승세)'를 텍스트와 매핑하여 추론하므로 구체적인 수치 추출에 취약합니다.


3. '연속성' 데이터에 대한 훈련 부족 (Sequential vs Spatial)

언어의 특성: 언어는 선형적(Sequential)입니다. 앞 단어가 나오면 뒤 단어를 예측합니다.


차트의 특성: 차트는 공간적(Spatial)이고 연속적입니다. X축(시간)과 Y축(가격)의 관계를 2차원 공간에서 동시에 파악해야 합니다.


학습 데이터: 인터넷상의 차트 데이터는 많지만, "이 차트의 3번째 캔들이 꼬리가 긴 이유는 매도 압력이 강했기 때문이고, 그 값은 정확히 102.5이다"라는 식의 논리적 추론 과정(Reasoning)이 라벨링된 고품질 데이터는 매우 희소합니다. 단순히 "비트코인 차트"라는 제목만 있는 데이터는 학습에 큰 도움이 안 됩니다.


4. 해결책: 추론이 아닌 '도구' 사용 (Code Interpreter)

최근 AI 트렌드는 모델이 직접 차트를 '눈대중'으로 해석하게 하는 대신, 파이썬 코드(Code Interpreter)를 짜게 하여 데이터를 직접 분석하는 쪽으로 선회하고 있습니다.


직관(LLM): "차트가 오르는 것 같아" (부정확)


연산(Code): "데이터를 로드해서 이동평균선을 계산해줘" -> 정확한 수치 도출


요약하자면, LLM은 태생적으로 '문과생' 머리를 가지고 있어 '수학적/시각적 정밀도'가 요구되는 차트 분석에는 취약합니다. 따라서 차트 분석을 시킬 때는 이미지를 보여주고 "분석해"라고 하기보다, Raw Data(CSV 등)를 주고 코드를 실행하여 분석하게 하는 것이 훨씬 정확합니다.