현 하드웨어 발전은 지금 파라다임/아키텍처 기반에서 HBM bandwidth 한계에 걸려있음.
세상의 복잡도 상승 곡선이 하드웨어 모델 최적화 곡선보다 훨씬 더 가파르기 때문에, 새로운 접근법이 없으면 범용적으로는 해결 불가임. 비행기랑 새가 나는 원리는 비슷해도 최소 규모와 에너지 효율 단위가 완전히 다르다는 걸 보면 알 수 있음.

현재 LLM pre-training도 벽에 막혔고, 그래서 test time active inference로 활로를 찾으려는 중인데, 이건 문제마다 시나리오별로 따로 대응해야 해서 한계가 명확함. ARC-AGI에서 O3 미리 fine-tuning 한 거랑 비슷한 맥락임.

그런데 이쪽은 너무 추상적으로 말하면 논의가 끝도 없어서, 자율주행 5단계 같은 구체적인 기준으로 얘기해야 정확히 갈림. 지금 기술로는 자율주행 5단계 절대 불가능함. 보편적인 건 사람보다 잘하지만, 돌발 상황 생기면 그냥 먹통임. 눈 오는 상황조차도 아직 핸들링 못함.

그래서 현실적으로 보면 아직 갈 길 존나 멀다.
ㅉㅉ


- dc official App