[일반] 클라우드랑 온디바이스가 속도차이가 없다니 몰랐네

[ㅇ(106.255)]

그렇게 클라우드가 빨랐는지 몰랐네

그렇게 빠르면 테슬라 움직임 학습도 AWS에 클라우드 서버 올려놓고 통신해서 결과물 받아서 Json 파싱한다음 

센서 움직임 벡터값 그대로 관절구동하면 되겠다 그치?

킹갓 클라우드인데 뭘 못하겠어 캬

온디바이스 누가씀~

[익명(27.115)]

클라우드 통신속도+연산속도 << 로컬 연산속도 이걸 이해 못하나 - dc App

[익명(27.115)]

3.5 수준인 라마 70b도 4090으로 초당 1토큰도 츨력 못하는데 이래도 클라우드가 로컬보다 느려서 못쓴다고 하는거? - dc App

[ㅇ(106.255)]

아..? 왠 4090? 삼성이 LLM 모델을 온디바이스칩으로 넣은다고 했음? 그럼 온디바이스칩 쿠다코어 연산 가지고는 택도 없을텐데. 난 간단한 번역 ai 라던지 어플리케이션 연동해서 자동으로 연결해준다던지 하는 가벼운 연산인줄. 너 말이 맞다면 h100 보다 온디바이스칩이 뛰어나다는 소린데. 음.. 그건 사기치는거 같긴함

[익명(27.115)]

뇌피셜이긴 하지만 결국 현시점에서 예상되는 llm 크기와 성능에 대한 상관성으로 따져보면 온디바이스로 감당 가능한 수준의 ai가 아무리 번역 특화로 최적화 했다 할지라도 그 성능이 만족할만 할지 의문임. 당장 번역 최적화한 deepl도 어느정도 분량 넘기는 순간 출력까지 유의미하게 지연되는데 - dc App

[익명(118.235)]

긁?

[익명(218.154)]

언어 모델 같은 거 쓰는 거면 몰라도 로봇 제어 쪽에 쓸라면 현재 속도론 힘들다고 들었음 - dc App

[익명(ljgda12)]

실무에서 안되는거 확인 했으니까 안 쓰는건데 그런 주장을 하는 사람이 있어?