[일반] 왤케 비전문가들은 "확률모델"이라는 말에 꽂혀서 헛소리를 하지

[익명(49.142)]

데이터는 조인트 분포로 이루어져있으니 일부러 결정적 모델이 아니라 확률모델을 학습하는건데

뭔 확률모델이니까 한계가 있다 이런 이상한 논리 펼치는 사람이 많네

"주사위를 던져서 1 나올 확률이 1/6이다" 이건 어떻게 믿음? 이거도 확률모델인데

확률분포를 ㅈㄴ정확히 잘 학습한 모델이라면 할루시네이션도 연산실수도 없음 

[부패하는유전자!!!(sansss2015)]

[익명(211.197)]

산수도 못하고 조금만 수리적인 내용 들어가면 헛소리를 장황하게 늘려서 얘기하니까

[익명(49.142)]

그건 확률모델의 근본적 한계가 아니라 현 언어모델의 한계임

[익명(49.142)]

ㅈㄴ 잘 학습된 확률모델 자체가 23402*23041해서 99.99% 우도로 539205482라고 제시한다면 그건 확률모델이 정확한거지 GPT같은 생성모델이 영원히 그걸 못한다면 확률을 학습하는게 잘못된게 아니라 그냥 딥러닝이나 LLM같은 아키텍처의 문제겠지

[익명(211.197)]

그래 네 말이 다 맞음

[익명(220.95)]

산수 못하는건 확률모델이라서가 아닌데

[익명(218.157)]

네가 가져온 예시에 심각한 문제가 있다는 생각 안 드니 - dc App

[익명(49.142)]

뭐가 문제임? ㅈㄴ정확히 잘 학습된 확률모델이 주사위의 확률분포를 정확하게 예측하고 있는건데

[익명(220.127)]

귀납적 모델이랑 연역적 모델이랑 같냐 - dc App

[익명(49.142)]

인간의 뇌도 연역적 모델은 아님

[익명(220.127)]

완전히 연역적이지는 않겠지ㅇㅇ - dc App

[익명(220.127)]

내 말은 보통 귀납적으로 데이터 때려넣는데는 한계가 있다는 뜻으로 대부분 말하는거 라는거지 - dc App

[익명(49.142)]

그럼 귀납의 문제가 아니라 비효율적인 귀납 모델의 문제겠지. 인간의 뇌는 매우 효율적으로 연역적 과정을 수행할 수 있는 귀납적 확률 모델인거고

[익명(49.142)]

쉽게 말해서 "연역 추론"이라는 것 자체를 인간이 귀납적으로 학습한거임

[36악장(dranhen)]

확률모델이 정확하게 학습되지 않았을때 잘못된 샘플링 공간에서 샘플링해서 헛소리를 하는게 문제인데 그걸 고치려고 확률모델링을 포기하는건 어찌보면 생성모델 자체의 유용성을 제한하자는 말이랑 같음

[익명(49.142)]

맞는말임

[익명(122.45)]

예시가 그게 맞냐 ㅋㅋㅋ

[익명(175.206)]

비전문가들이 생각하는 확률 모델은, 다음에 올 단어를 학습한 내용을 토대로 기막히게 확률적으로 잘 그럴듯하게 배치한다. 이건데, 지금 LLM은 이거보단 나름 몇단계 발전한거긴 함. 최초의 언어모델이 다음에 올 단어를 그런 식으로 했던거고, 당연히 성능이 안 좋음. 그 다음이, 단어를 벡터 공간으로 옮겨서 정보를 최대한 담게 하는건데, 이건 나름 성능 좋음. 하지만 문맥 정도가 없어서 역시 한계. 이 다음이, 지금 트랜스포머. 문맥 정보도 입력 시킬 수 있게 된 거. 어쩌면, 트랜스포머의 한계는 문맥을 넘어서, 문단, 책한권 뭐 이따위로 집어넣어서 극복할 수 있을지도 모름. 헛소리고 어쨌든. 비전문가들이 말하는 확률모델은, 너무 기초적인 확률모델을 말하는 경우가 많음. 그래서 내려치기가 심함.

[36악장(dranhen)]

지금도 원리는 똑같이 확률적 맵핑임....