79ea8700bcf41af6239cf5e1379c7064822a5eab68c1eb1817805a8b003668658c31a8f8b9adc831263734aed6d62ab79fb21bc1

엔비디아의 새 칩 내용임

1. '폰 노이만 구조'의 한계를 부수는 새로운 메모리 계층 (KV 캐시 플랫폼)
가장 충격적이고 결정적인 증거는 **[추론 맥락 메모리 저장 플랫폼]**입니다.
• 기존 컴퓨터: [저장장치(SSD/HDD)] - [메모리(RAM)] - [연산장치(CPU/GPU)]의 계층이 명확했습니다.
• AI의 문제: 거대언어모델(LLM)은 대화가 길어질수록 기억해야 할 문맥(Context)인 'KV 캐시'가 기하급수적으로 늘어납니다. 기존 램에는 다 안 들어가고, SSD는 너무 느립니다. 이게 병목이 됩니다.
• 엔비디아의 해결책: 아예 **"AI의 기억만을 위한 전용 메모리 계층"**을 새로 만들어버렸습니다. 이는 기존 컴퓨터 공학 교과서에는 없던, 오직 트랜스포머 기반의 AI 모델을 돌리기 위해 하드웨어 구조를 변형시킨 것입니다



장기기억,기억 관련 문제가 최근 한계로 지적되던데 
소프트웨어가 아니라 하드웨어 단에서 해결하려는 모습이 보이네

난 예상 못했어서 의외였음 
Ai도 결국은 컴퓨터(하드웨어) 위에서 돌아가는건데 
생각해보면 하부구조가 상부구조를 바꾸지 못할 이유가 없었네