[📪정보] 다음 단어를 예측하는게 언어모델의 핵심이 아닌 이유

[익명(175.113)]

우리가 진정으로 원하는건 다음 단어를 예측하는 능력이 아님. 다음 단어를 예측하는건 그냥 겉으로 세워둔 일종의 목표일 뿐이고, 우리가 진정으로 원하는건 그 목표를 향해 가는 과정에서 얻는 지능임.

쉽게 예를 들어봄.
수학을 잘하고 싶으면 뭘 해야함? 우선 목표를 세워야 함. 예를 들어 경시대회 수상하기. 그렇게 경시대회 수상이라는 목표를 향해 계속 노력하다보면 실제로 경시대회 수상을 할 수도 있음.
그러나 그것보다 더 중요한건 그 과정에서 내가 수학을 잘하게 된다는 거임. 즉, 우리가 진정으로 얻고 싶었던 것은 수학 실력이지만, 그걸 직접적으로 달성하기는 쉽지 않음.
그래서 일단 경시대회 수상이라는 목표를 세워서 노력하다보면 수학을 잘하는건 알아서 따라온다는거임.

언어모델도 똑같음. 우리가 진정으로 얻고 싶은건 지능임. 근데 그걸 직접 달성하긴 쉽지 않음. 그래서 다음 단어 예측이라는 목표를 일단 세우는거임. 그 목표를 향해 학습을 하다 보면 다음 단어 예측을 잘하게 될 수도
있음. 근데 그거보다 더 중요한건 그 과정에서 진정으로 원했던 지능을 얻을 수 있다는거임. 단순히 다음 단어를 예측하는 방향으로 학습했는데 추론능력, 독해능력 등의 지능이 알아서 따라오는 이유도 마찬가지임. 경시대회 수상을 위해서 수학이 필요한 것처럼, 다음 단어 예측을 위해서는 추론능력과 독해능력 등의 지능이 필요하기 때문임.

다음 단어 맞추기같이 겉으로 세워두는 목표를 일컬어 upstream task라고 함. 그리고 이러한 학습 과정을 pretrain이라고 함.
실제로 pretrain이 끝난 후에는 다음 단어 확률값으로 나타나는 출력층은 그냥 떼버리고 다른 출력을 달아도 됨.

[monomer(robestan)]

추론능력은 구체적으로 뭘어떻게 해야 생기는거임? - dc App

[익명(175.113)]

이미 예시까지 들어가면서 구체적으로 설명함. 수식을 보고 싶은거면 책을 보셈.

[monomer(robestan)]

좀 말을 다르게 할게.. 추론능력의 정의가 뭐임? - dc App

[monomer(robestan)]

내가 궁금한건 다음단어 예측을 했더니 추론능력이 생겼다 이런말이 아니라 추론능력의 원리가 뭐냐는거 - dc App

[익명(175.113)]

알고 있는 것으로부터 논리적으로 결론을 도출하는 능력

[익명(175.113)]

그냥 "추론하다" 할때 그 추론이고 뭘 원하는지 모르겠음. 별로 중요하지도 않음.

[익명(175.113)]

글의 요지를 전혀 파악하지 못한거같음. 추론능력이든 기억능력이든 뭐시기능력이든 그런건 이글에서 그냥 전혀 중요하지 않음.

[익명(175.113)]

그냥 지능에 포함되는 능력에 해당한다고 생각되는 하나의 예시일 뿐

[익명(175.113)]

지능을 정확히 뭘로 정의하느냐 하는건 과학이 아니라 철학의 영역이라 모름. 여기서 쓰이는 지능은 그냥 통상적인 문맥에 따름.

[익명(175.113)]

추론도 마찬가지

[익명(211.209)]

factos) 틀렸다 전부 헛소리