[일반] 근데 LLM이 진짜 확률로만 대답해주는 애면

[익명(211.228)]

아이폰 자동완성처럼 대답해줘야 하는 것 아님?

근데 왜 점차 갈수록 환각이 줄어들고 수학적 추론도 가능해지는 것임...?

[익명(soap4147)]

다음에 올 단어를 확률적으로 예측하는게 LLM이고 학습된 데이터가 많을수록 더 정교하게 예측이 가능하다는게 스케일링 법칙이니까.

[익명(soap4147)]

그래서 스케일링 법칙이 왜 작동하는데? -> 아무도모름

[익명(211.228)]

@ㅇㅇ 그럼 추론은 뭐임? 추론도 스케일링에 해당하나?

[익명(soap4147)]

아래 댓글들은 저 목표를 달성하기 위한 방법론들이죠 물론 아이폰 자동완성이랑 LLM의 아키텍쳐는 다르므로 아이폰 자동완성을 스케일링한다고 LLM이 되진 않음

[익명(soap4147)]

추론모델은 뭔가요 -> 텍스트를 생성할 때 자체적으로 중간 단계를 만들어가면서 생성하는 기술로 알고 있음

[익명(soap4147)]

아래 기술들도 도약에 중요한 역할을 한 건 맞지만 스케일링이 가장 큰 도약이었음. openAI가 한게 그거임. 그냥 무식하게 키워보면 어떨까 -> 어 애가 예측을 훨씬 잘하네? 더 많은 자원을 부을수록 틀리는 빈도가 줄어드네?

[ㅇㅇ 1(183.108)]

확률로만 대답해준다는 설명은....너무 단순화 한거고 이런 방식으로 대답해주는 건 언어모델 거의 초기 방식임. 내가 어설프게 알고 있기로, 그냥 다음에 올 단어를 확률 방식으로 대답하는 게 초기 방식. 당연히 성능이 박살남. 이후에 주변 단어들(앞 뒤)까지 고려한 방식으로, 단어에 대한 정보를 벡터에 저장하는 방식이 있었음. word2vec이었나. 이때도 의미는 있음. 남편-아내 단어 사이 거리가, 왕-아내 사이 거리랑 비슷하고, 왕-왕자 사이 거리랑은 달랐음. 그 다음이 지금 같은 트랜스포머. 얘는 전체 문맥도 고려함. 즉, 배가 (맛있다/아프다)에서 그냥 확률적으로 나오는 게 아니라, 글 전체가 먹는 이야기면 맛있다가 오는 거. 이걸 기막히게 잘하는 중. 이 외에도 수많은 기법과 연구가 들어감.

[ㅇㅇ 1(183.108)]

GPT 같은 애들은 트랜스포머 방식임. 원래는 모델과 데이터가 커지면 과적합 되면서 성능이 저하되는데, 트랜스포머는 괜찮았음. 그래서 계속 키웠더니 창발성이라고 갑자기 없던 능력이 생김. 예를들어, 번역모델은 번역만 함. 일본어-불어 데이터를 넣은 모델이 일본어-불어번역이 가능. 그런데, 모델을 압도적으로 키우고, 데이터도 마구 집어넣은 후에 보니까, 딱히 번역으로 학습 시킨 게 아닌데도 번역을 잘 함. 시도 나름 씀. QnA도 함. 이런 게 창발성. 더 키우면 된다.

[ㅇㅇ 1(183.108)]

근데 그냥 키우니까 가성비에 한계가 좀 오기도 했고, 수학,추론은 여전히 잘 못 함. 혹시 웹에 있는 텍스트 데이터들이 추론 과정은 없어서 그런 거 아닐까? A ->(B,C,D)->E 즉, 추론 과정은 보통 텍스트에서 생략됨. 그래서 oai가 박사들 불러다가 중간 추론 과정을 만들어냄. 그리고 이걸로 코드,수학 같은 문제를 정답 맞추냐 아니냐로 강화학습함.(알파고 바둑처럼) 그게 추론모델이고 얘네는 그래도 추론을 좀 함. 이제 추론모델은 또 어느정도 가성비 영역에 이른 것 같고, 다음은 에이전트 단계일 듯.

[익명(sguyff)]

벡터공간의 밀도를 채울수록 실제 지능처럼 맞추는게 늘어나고 추론 선도 추가해서 연역이 가능해지니 이해 비스무리한게 나타남

[익명(115.139)]

확률말고 분포를 학습한다고 이해하는게 더 쉬울것임. 사실 똑같은 말이긴 한데, 설명해주자면 엄청나게 많은 인터넷 문서들에서 주로 A라는 문장 뒤에 어떤 단어가 오는지, 그 분포를 학습하는거임. 근데 AI가 학습하는 방식은 '정확한 답'을 찾아내는 방식이 아님. 정확한 답에 가까운 예측들을 해나아가는거고, 지금 연구되는 것들이 llm이 어떻게 그나마 더 가까운 정답을 내놓는가를 연구중인거임

[익명(115.139)]

환각이 줄어든 것도, 수학적 추론을 잘하게 된 것도 단순히 llm을 더 잘 학습시키는 법을 AI 연구자들이 잘 알아낸거다라고 보면 됨 ㅇㅇ. 그럼 이렇게 물어볼 수도 있는데, "애플 자동완성은 왜 그따위인거냐" 이에 대한 대답은 단순히 llm의 크기가 작을수록 성능이 떨어지고, 아이폰에 담긴 AI는 llm의 크기를 크게 만들 수가 없는 거임. 왜? 핸드폰의 연산 성능이 너무 안좋아서.