LLM의 한계: “다음 단어 예측”은 세계 이해가 아니다
이게 아니지 않나?
결국 우리가 세계를 인지하는 방법은
관념으로 구성되어 있지 않나?
우리가 세계를 이해할 때 그걸 원자 수준이나 그런걸로 물리적으로 환원시켜서 이해하나?
아니잖
관찰하고 그걸 추상화시키고 관념화시켜서 결국 단어를 배치시킴으로서 세계를 해석하는거 아니었나???
난 LLM의 방향성은 맞다고 봄
결과적으로 반도체 효율이 문제인거지.
현재의 컴퓨터공학으로는 인공지능을 가져오기엔 무리라고 봄
그래서 젠슨황 말처럼 바이오 컴퓨터가 미래라고 보고 이게 AI로 가는 진정한 문이 되는거지
글쎼 LLM은 너무나도 맞는 방향인거 같은데
근데 전에 o1은 llm이 아니라며 그냥 ai 발전에 따라 말이 바뀌는거 아닌가
르군이형도 걍 아가리 털려고 화사 설립한게 아니라면 뭔가 내놓긴하겠제
그거 심리학 뇌과학 인지과학의 오랜 고민인
님이 말하는 건 의미 부호화 라고 하는데
80년 대부터 인간 기억의 부호화는 의미적이다 물리적이다 이런 WWE를 많이 터트렸는데
실제로는... 둘 다 하고 다만 필요한 자원(막 그닥 선호되는 표현은 아님. 차라리 과제의 난이도로 많이 표현)이 많아질 수록 의미적인 방법으로 기억하고 인출하는 경향이 보이고 그렇지 않을 땨는 물리적인 방식으로 기억하고 인출하는 경향이 보임
실제로 인간의 작업기억 연구를 보자면 시공간스케치 와 음운고리로 기억 영역을 나누어놓는데 이게 시각적인 물리적 특성 / 언어, 소리 특성 지각으로 나누어서 자극의 처리가 이루어짐
그래서 실제로 무언가를 보면서 듣는 건 그다지 어려운 일이 아니지만 A,B를 동시에 보는 건 어렵고 A,B를 동시에 듣는 건 어려움 이게 약간 두 가지 처리가 나누어져서 이루어진다는 걸 의미하기도 하고