[일반] 구글이 학습에 tpu안쓴다는건 근거가 뭐임

[익명(124.54)]

난 gpu를 썼다는 말을 들어본적이 없는데

[사람(quantity2165)]

tpu가 fp8인거 아님? 그래서 추론용으로 쓴다고 생각하는게 다수임.

[익명(124.54)]

fp8인거랑 추론용이랑 뭔상관임 진짜 몰라서 묻는거임

[ㅇㅇ 2(59.28)]

학습은 fp32로 해도 추론할때는 양자화해서 fp8로 돌리면 몇배나 가벼워지고 빨라지니까

[사람(quantity2165)]

대충 말하면 학습은 좀더 정밀한 방식으로 해야하고, 추론은 좀 대충 해도 원하는 값 나온다는 거임.

[사람(quantity2165)]

Local LLM나오면 사람들이 양자화 양자화 하는게 부동소수점 줄여서 대충 계산하게 하는거라고 생각하면 됨. 그렇게 하면 조금은 부정확해지지만 모델 가벼워지고 빨라짐.

[사람(quantity2165)]

추론이라는게 지금 우리나라에서는 이중으로 쓰이는데, 그냥 답변하는 것도 추론이고, 깊이 생각해서 답하는것도 추론임. 거기에 쓴다는거. 유튜브 추천, 검색결과 정렬 이런것도 추론이고.

[익명(124.54)]

tpu bf16지원함

[익명(124.54)]

https://cloud.google.com/tpu/docs/v6e?hl=ko-KR

[ㅇㅇ 1(123.142)]

TPU만 쓰는 거 맞음 구글이 클라우드 땜에 엔비디아 GPU 왕창 사가는 건 맞긴 한데 구글 자체는 안 쓴지 꽤 된걸로 암

[익명(124.54)]

내가 알기로도 그런데 tpu 추론용이란건 뭐지

[ㅇㅇ 1(123.142)]

애초에 구글검색에서 AI 추론으로 검색어 추천할때 쓰려고 엄청 정밀도 깎아버린 게 tpu이긴 한데

[ㅇㅇ 2(59.28)]

솔직히 저정밀도 연산 기반 tpu를 fp32연산에 쓴다는게 너무 비효율적이라고 생각함

[익명(124.54)]

그니까 tpu는 fp8을 지원할 뿐이지 그거 전용으로 설계된게 아니지 않음? 그리고 그게 무슨 상관인지도 모르겠음

[ㅇㅇ 2(59.28)]

tpu는 fp8연산에 전용으로 설계된 가속기다 친구야..

[익명(124.54)]

https://cloud.google.com/tpu/docs/v6e?hl=ko-KR

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[익명(124.54)]

그니까 학습에 특별히 효율적인 이유도 안쓴다는 말도 난 못찾았는데

[ㅇㅇ 3(111.118)]

근거가 있을수가 없지 구글에서 대놓고 TPUs powered 100% of Gemini 2.0 training and inference 라고 밝혔는데

[사람(quantity2165)]

글쿠만