AI 칩 업계 동향이 기존에는 훈련용(모델 훈련용)과 추론용 모두 엔비디아 썼는데, 모델 훈련이 추론보다 구현해야 할 게 많음. 그래서 추론전용 칩을 엔비디아와 같은 칩에서 벗어나 훈련용에 비해 효율적으로 동작할 수 있는 칩을 설계하고 양산하려는 거임. 짐켈러가 말하는 추론이 이 추론이다. - dc App
나진(doom3750)2024-03-13 22:34
답글
추론 전용 칩 양산해서 그걸로 gpt돌리면 서비스비용이 확 낮아지는 거임 ㅇㅇ. 계속 훈련에 쓰이는 칩을 서비스하는데에도 쓰면 적자 못벗어난다. - dc App
그 추론이 그 추론이 아니다 게이야... - dc App
AI 칩 업계 동향이 기존에는 훈련용(모델 훈련용)과 추론용 모두 엔비디아 썼는데, 모델 훈련이 추론보다 구현해야 할 게 많음. 그래서 추론전용 칩을 엔비디아와 같은 칩에서 벗어나 훈련용에 비해 효율적으로 동작할 수 있는 칩을 설계하고 양산하려는 거임. 짐켈러가 말하는 추론이 이 추론이다. - dc App
추론 전용 칩 양산해서 그걸로 gpt돌리면 서비스비용이 확 낮아지는 거임 ㅇㅇ. 계속 훈련에 쓰이는 칩을 서비스하는데에도 쓰면 적자 못벗어난다. - dc App