트랜스포머 기반 llm을 사용해서는 agi가 안올것같다

우선 컴퓨터 상에서 돌아가는 한 연산량은 에너지량이랑 대응되고, 이는 우리 뇌가 돌아가는 방식이랑 유사함


임산부가 두개의 뇌를 운용하기 위해 훨씬 많은 에너지를 필요로 하는것처럼, llm이 선형적으로 발전하려면 필요한 에너지량은 기하급수적으로 올라간다함

잘 생각해보면 맥락이 긴 정보일수록 파라미터가 많아지고, 파라미터는 결국 저장공간이나 물리적인 에너지 형태로 치환할 수 있기에 한계가 있다는 것이다.


위 가설을 기준으로 현재 상황을 생각해 보면


gpu 성능은 이미 10후~20년대초에 고점을 찍었고

추가된 건 오히려 성능을 떨구는 부가기능들이었음


만약 최적의 성능&에너지효율을 내는 하드웨어 구조가 개발된다 해도, 원래 있던 큰 틀의 구조에서 조금 변형한 것일 뿐이라는 것임. 이론물리가 과거에는 개인으로 인해 큰 발전을 해왔지만 현대에는 거의 불가능해진 것 처럼, 혁신적인 아키텍처를 내놓는 가능성이 기하급수적으로 낮아진것임.


결론은 초전도체처럼 에너지쪽의 혁신이 일어나거나 새로운 모델이 만들어지지 않는 한, agi는 어려울거고, 전자가 훨씬 가능성 있을것같음 사실 둘다 어려운데 후자가 거의 불가능하다고 생각함

 현재 발전속도가 엄청나다고 해서 미래에도 같은 곡선을 유지할것이라는 보장은 없는듯하다


아무리그래도 트랜스호머 기반 llm의 고점(반드시 도달가능함)은 우리 삶에 큰 영향을 줄것 같음. 근데 고점에서도 고맥락적인 부분에서는 한계를 명확히 보일것이라 느껴진다

그래서 컴공의 미래는 아키텍처인것같다.. 무조건 전문성을 키워야 벌어먹고 살수있을것같아

0490f719b78260f020a8d3b706f11a39bda7fd3da75be178