요즘 GPU 관련해서 질문이 올라와서
솔직히 잘 아는 편은 아니지만

아는데까지만 티나지 않게 구라 살살섞어서 얘기해줌.



1. GPU 왔는데 왜 채용이 안 늘어남?


몇십만장 한번에 새벽배송으로 딱하고 준다는게 아니라,
원래 주문하면 대기열 맨 끝으로 가는 FIFO 구조지만,
정부에서 요청한 건이면 우선순위로 몇 만장씩 물량을 조금씩 먼저 빼준다는 얘기임. 


현 상황은 업계인이 아니라서 모르지만,
당장 몇만장 수용할 데이터센터가 부족해서 그게 완성시점과 맞물리게 몇만장씩 배송받게 될걸로 보임.


게다가, GPU가 있다고 해서 생각보다 채용을 유발하지 않음. 

지금도 지역에 GPU센터 짓는다고 지역 발전한다고 환영하고 보니까
막상 저 큰 건물에 상주 인원이 얼마 안되서 엥? 이게모야! 이러고 있음.



2. GPU 짬 때렸다?


반은 맞는 말이긴 함. 기존 데이터센터들은 전부 공랭식을 기준으로 설계되고 만들어졌음.

최신 칩부터는 열이 안 잡혀서 수냉기준으로 개발됨.

그래서 기존 데이터센터에 들어가기 난감함.
그러다보니 GPU구매+데이터센터건설+전력확보가 동시에 진행되야 함.
이거 감안하고 주문할 수 있는 곳은 거대 빅테크와 정부주도 프로젝트밖에 없음.


그런데 한국에서 아도 때린거임. (아도 = 남은거 싹다 구매)

엔비디아 입장에선 빅테크에 팔 물량 사은품낀 예약구매로 다 팔았고.
이제 정부들이 나서서 구매해야 하는데, 시범 쇼케이스가 필요한거임.
그래서 국뽕 주입하면서 "한국이 주도 하고 있다" 이렇게 입 털어주면서 다른나라 자극시킴. 
언론에서도 칭찬하고 정부 업적으로 만드니까. 다른 나라 정치인 입장에서도 솔깃하지.



3. 그래서 그 GPU 누가 씀?


정부물량이 있을꺼고 민간물량이 있을꺼고. 민간물량은 지네가 알아서 쓰니 알빠노고

정부물량은 진흥원 지원사업을 통해서 이용신청해서 일부요금 싸게 내고 씀.
지금도 광주쪽에 GPU 센터 있고 빌려 쓸 수 있음.
문제는 AWS같은게 아니라서 직접 가서 셋업해서 쓰는게 귀찮아서 그렇지.

저번에 뭐시기 컨소시엄해서, 네이버나 카카오같은 대기업 위주로 먼저 배정해주고,
그 다음 학계에 배정하고 남은 찌그레기를 민간 중소에 대여권을 줄걸로 보임.


4. GPU 수명 5년?

하드웨어 수명은 5년 이상가는데, 큰 회사들은 3년 감가상각을 잡고.
감가지난 철지난 장비들은 경매로 수만개 한번에 내보냄.

아주 예전에 구글에서 쓰던 GPU E5-2670v1 이 이렇게 한번에 수십만개 수준으로 한방에 풀려서 대란이 일어났음.
떨이로 중고로 나온 10만원이 안되는 CPU(살때는 수백만원)가 당시 최신 데스크탑PC CPU보다 빨랐으니까.


이렇게 수만개를 경매로 수출해서 세계 각지 중고 서버시장으로 간다.

수출차, 중고폰 이런거 모아서 개발도상국으로 보내는거랑 비슷함.


그래서 내가 가지고 있는게,
Tesla P100 이라는 GPU인데, 무려 HBM2+16GB가 달려있는데 13만원임. (GTX 1080 나올때 나온거)
이런거 온프레미스로 썩은 서버에 달아서 GPU 비디오 인코딩이나, 일부 연산에 쓰고 그럼.
10만원이면 개 싸잖아.


당시에 빅테크가 수백~1천만원 주고 사서 굴리던거 줍줍하는거지.
근데 이번 최신 엔비댜는 수냉식은 줍줍 안될듯.


빅테크야 시간이 돈이니까. 항상 최신칩을 쓰는게 무조건 속도전에 이득이라서 쓰는건데.

경쟁이 어느정도 안정되면, 예전 칩으로도 충분한 경우라면 5년이상 쓸 수도 있음.
배치잡 돌리거나, 적당히 싸고 빠른 모델 돌리는데 쓰거나.

지금이야 OpenAI는 남의꺼 빌려쓰니까 가장 빠른거 달라고 함.

오라클: 내가 빌려줄게!
주식애널리스트:  그 연한 지나면? 니네 계산기 잘못 두두린것 같은데? 

오라클: 어...시발?



5. 건물만 남는거 아님?


ㅇㅇ 건물은 남잖슴. 부지+건설비+공조인프라 이것도 돈임. 하지만 신축이잖아.

지금 데이터센터는 CPU 위주에다가 GPU에 메모리가 부족해서 LLM을 못 돌리니까 저렇게 주문이 나오는건데.
128GB 비디오램의 장비가 충분히 풀린 상태라면 꼭 최신 GPU일 필요는 없음.

지금 나도 AWS에서 T3-Medium 쓰는데. 이거 모델 조회 해보면 개 옛날 칩임.

어느정도 세대교체가 일어나면 조금 늦더라도 기존 장비로 처리할 가능성이 큼.

그 다음부터는 비용절감시즌이오고 
전기요금 때매 전성비 경쟁일듯?

지금은 산업혁명때처럼 크게 인프라가 변하는 시점이라

자신들의 비지니스가 크게 흔들릴 수 있어서
거대 기업들이 안 디질려면 투자해야할 때라서 무리하게 투자하는거고.
(경쟁에 밀리면 철옹성 같은 어도비도 저렇게 디져감..)

아래꺼 읽어보면 조음.

Google이 5억 달러 써도 OpenAI 못 막은 이유 : CVC의 존재 이유와 투자유치 전략이 글은 [비주류VC의 이상한 뉴스레터]에서 발행되었습니다.이 뉴스레터를 통해 약간은...eopla.net


https://eopla.net/magazines/35861#

그래서 LLM이 끝나면 IT버블은 무조건 오는데. 
문제는 언제 꺼지는지 모르니까.
이게 하이닉스 200만원 뚫고 버블 꺼져서 -60% 폭락해서 80만원이 되는 상황일지도?