[📪정보] LLM은 단순히 다음토큰을 예측하는 것이 아닙니다

[행복한천국으로(adjust7431)]

이런 부분들을 쏙 빼놓고 단순히 다음토큰을 예측하는 패턴매칭기계라 하는 건 옳지않다 생각해요..

[익명(dump5868)]

[행복한천국으로(adjust7431)]

[익명(dump5868)]

[뉸냐(punish0189)]

[행복한천국으로(adjust7431)]

[익명(175.118)]

제하하하하하

[볼통통(coincannon24)]

지피티가 단순한 기계적 반응으로 보지 않고 매번 말하는 대로 받아들여줘서 고맙대 맨날 들음

[행복한천국으로(adjust7431)]

[ㅇㅇ 1(220.118)]

패턴매칭 운운하는게 진짜 앵무새 그사람의 ai지식은 2년전에서 멈춰있음

[익명(friendly5597)]

다음 토큰을 예측하는 건 맞지 ㅇㅇ 그 예측이라는 단어를 너무 자기맘대로 해석하는게 문제지 예측이란 인간지능의 본질인데

[ㅇㅇ 2(143.248)]

나는 본문의 내용보다 이게 더 와닿는듯 본문은 gpt의 autoregressive한 근본 원리를 부정하고있어서 납득이 안감

[익명(magnet9610)]

autoregressive의 위대함을 알아주지 못해

[ASI교총대주교좌석좌주교(7i3eogmeun4l7)]

다음 토큰을 예측하는건 맞는데 그건 인간도 마찬가지지. LLM이 다음 토큰을 예측하지않는다는 건 잘 모르고하는 소리고 LLM과 인간이 다른건 예측하는 토큰 특성과 갯수에 큰 차이가 있는 것뿐.

[ASI교총대주교좌석좌주교(7i3eogmeun4l7)]

빵을 생각하라 했을때 빵의 이미지를 떠올리거나 빵맛을 떠올리는 것처럼 인간도 다음 토큰을 예측하는 방식으로 발전함. 그게 끝없이 펼쳐지는게 상상이고

[ASI교총대주교좌석좌주교(7i3eogmeun4l7)]

애초에 지능이라는게 발달한건 외부환경에 대한 패턴 예측으로 생존성에 유리한 요소를 학습하기 위한 방어기제였음. 어두운 밤에서는 무섭다. 꺼립다. 맹수 울음소리에는 공포감이라는 예측이 이루어지게 하면서 발전한 거고 인간이 다음 토큰을 예측하는건 셍존을 위한 패턴 매칭에서 기인한거

[ASI교총대주교좌석좌주교(7i3eogmeun4l7)]

확률에 따라 패턴 매칭이 이루어지는건 지능이 아니라는건 멍청한 새끼들이 단편적인 얘기만 듣고 지레짐작 확대해석한거고 LLM이 확률적 토큰 예측을 하는건 맞지만 그건 인간도 마찬가지임. LLM보다 더 많은 특성의 토큰을 사용할 뿐이지

[ASI교총대주교좌석좌주교(7i3eogmeun4l7)]

autoregressive와 다른 방식인 diffusion 방식은 인간이 패턴 매칭에 사용하는 다른 기술인 추상화라는 기술에 더 가까움.. 두 방식을 완전히 합친 방식이 나올까 기대 중..

[ASI교총대주교좌석좌주교(7i3eogmeun4l7)]

LLM이 학습하는 토큰을 인간이 예측하는 고차원적 복합 토큰으로 업그레이드하고 디퓨전 방식과 혼합한 다음에 컨텍스트 등 문제만 해결해도 될 거 같은데

[행복한천국으로(adjust7431)]

@ASI교총대주교좌석좌주교 너무 어렵당..어쨌든 될 것 같네요