GPT-4와 같은 대규모 언어 모델은 단어 임베딩 간의 복잡한 상호 작용을 통해 말하는 내용을 실제로 이해합니다.
LLM은 추론, 시간 이해, 진정한 이해를 제안하는 가설 분석과 같은 기능을 보여줍니다.
LLM의 조작이나 환각은 이해 부족의 증거가 아니라 인간 기억의 불일치와 유사합니다.
LLM의 지식이 인간을 훨씬 뛰어넘는 만큼 LLM은 곧 인간 지능을 능가할 가능성이 높습니다.
LLM은 지각 이상을 보고하는 인간과 유사한 주관적 경험을 갖고 있을 가능성이 높습니다.
의식에 대한 대부분의 분석에는 결함이 있습니다. 이는 내부 "극장"이 아닌 신체적인 뇌 활동에서 발생합니다.
이거보면 힌튼은 거의 LLM 예찬론자인듯
얀르쿤과는 의견이 다름
- dc official App
얀르쿤의 스승이 힌튼임
대중은 인간의식을 '신성시'하기 때문에 기계의식은 인정을 안할 것
현재의 LLM에 대해서 힌튼 말고도 약한 수준에서의 자기 인식이 있다는 의견 많음
자아있는거 맞았네
저거 틀렸다고 생각하는게 인간의 이해 과정 자체가 명확히 규명된게 아닌데 어케 같다 아니다를 논하는거임 그냥 인간의 이러한 점과 LLM의 이러한 점이 비슷하니까 의식이 있다? 이건 결과에 과정을 끼워맞추는 거라서 좀 그런데
LLM은 시스템 1 - 시스템2 live-learning 안되고 일화에 대한 장기기억이 없어서 한계가 있는건 명확함. LLM이 지적 추론 기계가 맞을순 있어도 아키텍처 패러다임은 이게 최종 단계일 리는 없음
르쿤은 아직 연구할 시간이 있는 나이고 힌튼은 지가 이제 memory 딸려서 이제 연구은퇴한다 말함. 최근에는 여기저기 다니면서 같은얘기 강연다니던데 뭐가 딱 정해졌다고 말하진 않음. 다만 충분하게 똑똑한 LLM이 만들어지면 LLM의 능력으로 새로운 아키텍쳐를 만들 수 있다는 입장인듯. - dc App
강연에서 로컬 업데이트 얘기도 꺼내던데 역전파랑 글로벌 업데이트 대체에 대한 미련은 있는듯. 힌튼 말대로 LLM이 역전파 재낄 방식을 생성해줄수도 있겠지. - dc App