너희도 알다시피 인공신경망은 입출력 매핑 데이터를 바탕으로 함수를 근사하는 기계임



그리고 텍스트 데이터는 기본적으로 인간이라는 지극히 복잡한 함수의 대략적인 매핑 포인트로 볼 수 있음



그러니 엄청난 양의 텍스트 데이터를 지나는 매우 복잡한 함수를 인공신경망이 근사하게 하면 인간에 가까운 행동양식을 보이는 함수가 튀어나온다는 거고



LLM이 지능처럼 보이는 원리가 여기에 있음



단순하게 말해서 그냥 인간에 한없이 가까워지는 것 뿐임



문제는 그거지. 데이터는 이산적이고 무한하지 않다는 것



스케일링 법칙. 모델의 크기를 키우고 데이터의 양과 질을 늘리면 더 좋아진다는 경험적 법칙이라고 하는데



사실 스케일링 법칙이 먹힌다는 말은 여전히 인간의 복잡성을 완벽히 근사하지 못하고 있다는 말임



비유하자면 인간은 벡터 이미지고, 모델의 크기는 비트맵 캔버스라고 보면 됨



데이터는 벡터 이미지를 직접 보는 대신 이산적인 점들의 분포로 시각화하는 느낌이고 그 데이터를 연결해서 비트맵으로 다시 그려내는 거랑 비슷한 거임



근데 벡터 이미지를 비트맵으로 완벽히 따라하는 것은 해상도를 아무리 올려도 불가능함.



벡터 이미지의 연속적이고 무한한 해상도를 이산적인 점들의 집합으로 완전히 근사하는 것 또한 불가능함



게다가 벡터 이미지가 프랙탈이면? 부분적으로 재귀적 복잡도를 가졌으면? 필연적으로 그 부분은 뭉개야겠지.



이런 과정에서 손실이 필연적으로 발생하고 스케일링을 하면 손실되었던 게 이번에는 더 높은 해상도로 렌더링되는 느낌임



즉 스케일링하면 우리는 성능이 오른다고 말하지만 사실 성능이 오르는 게 아니라 인간을 더 잘 근사하는 거고,



근본적으로 보면 완전한 AGI를 만들기 위해선 무한한 데이터와 무한한 스케일링이 필요한 헛짓거리를 하는 거라고 볼 수 있는 거임



스타게이트만 완성되면 특이점? ㅋㅋ 다이슨 스피어로 튜닝해도 안 될걸



이 함수 근사 기계의 한계는 더 있음



인공신경망은 한번 순방향 계산을 마치고 나면 끝나는 구조임



즉, 기억이 없음



라고 말하면 아닌데? 메모리 있는데? 컨텍스트 윈도우 있는데? 할 특슬람을 위해 설명을 해드림



컨텍스트 윈도우는 그냥 입력 길이 제한임



얼마나 긴 문맥의 토큰들을 신경쓸지 정해둔 제한일 뿐이고



사용자가 새 프롬프트를 입력하면 LLM은 현재 세션에서 있었던 모든 대화를 전부 입력으로 받음



즉 사실 기억이 없음



식당으로 비유하자면 LLM은 주문을 받을 때마다 매번 일일이 지금까지 자기가 했던 모든 행동을 메모해뒀다가 재입력하는 존나 비효율적인 짓을 한다는 거임



인간과 근본적으로 다름.



그래서 특슬람들이 타이탄즈나 아틀라스 보면서 아 저거만 있으면 장기 기억도 해결이야 이러는 건 사실 헛소리에 가까움



단기 기억도 아직이니깐 ㅋㅋ



참고로 이건 아키텍처의 한계임. 그래서 더 답없음.



사람은 어떻게 하더라? 뇌는 인공신경망처럼 이산적인 순방향 계산 한번 하고 끝내지 않지



오히려 잘때처럼 입력이 없을때도 쉼없이 계속해서 돌아가는 연속적인 기계에 가까움



그래서 시간 의존성이 있을 수 밖에 없음. 아니 앞의 정보를 처리하는 와중에도 신경에서 계속 다음 신호가 오는데 어떻게 문맥을 잊을 수 있겠음? 그게 더 이상하지.



반면 인공신경망은 장기적인 문맥을 전혀 고려할 수 없지. 당연한게 문맥이 길어지면 그만큼 고려할게 느니까.



인정해야 할건 인정해야 함. 인공신경망은 단기적인 부분, 그러니까 완성된 문장을 바로바로 뱉는 그런 부분에선 굉장한 성능을 보여줬음



하지만 인공신경망이 다음 단어를 통째로 예측하는 대신 타이핑을 한다거나, 아예 로봇 팔을 조작해서 문장을 쓴다면?



이산적인 입출력 쌍에는 강한 함수 근사 기계인 인공신경망이지만 오히려 이런 연속적인 일에는 너무나도 약한 게 현실임.



뇌는 발로도 하는 거지만.



그러니까 제발 이딴거로 특이점이니 뭐니 하지 말자 좀



그냥 패턴 매칭 기계. 함수 근사 기계라고 시발



지능이 아니야.