사용자가 입력한 토큰을 기반으로 확률에 따라 다음에 나올 토큰을 예측하는 방식이 현 LLM의 작동방식임

다음 토큰을 추론한다고 해서 추론이라고 부름

추론 시간이나 추론 비용을 얘기할때 보통 이걸 말함

또 다른 의미로 추론 모델에서 말하는 추론이 있는데 여기서 말하는 추론은 생각의 사슬에 따라 추론이 이루어지는 사고과정을 CoT로 표현하며 정확도를 높이기 때문에 추론 모델이라고 함.