로컬에서 LLAMA3 돌려봤는데, 그래픽카드가 너무 성능이 떨어져서 답변속도가 너무 느린거야
만약 AWS이용해서 설치하면 어떨까 하는데 의견좀 듣고싶어
[일반] AWS에 LLAMA3 구동이 되나
익명(106.246)
2024-04-24 10:42
추천 0
댓글 7
다른 게시글
-
phi-3, llama3 8b, 70b 써보고 느낀건 mmlu는 지능 같 [2][일반] 익명(110.145) | 24.04.24추천 1
-
호주 총리, 머스크에 격노[일반] 익명(218.147) | 24.04.24추천 0
-
일론 머스크 이번엔 다른거 아니냐 [8][일반] 익명(218.147) | 24.04.24추천 1
-
안드로이드 폰에서 라마3 돌리는 앱[일반] 익명(121.174) | 24.04.24추천 0
-
레딧) TED에서 sora로 만든 영상 [3][일반] 익명(175.124) | 24.04.24추천 0
-
특붕이들 은근 보수적임 [11][일반] 익명(218.147) | 24.04.24추천 0
-
진짜개쩌는떡밥없냐[일반] 익명(106.254) | 24.04.24추천 0
-
챗봇아레나 라마3 소식: 계속 순위가 오름; [20][일반] 익명(110.145) | 24.04.24추천 24
-
phi-3 mini 써보는데 뭔가 미묘하게 좆같네 [3][일반] 익명(110.145) | 24.04.24추천 0
-
자율주행 무인택시는 [1][일반] 익명(1.237) | 24.04.24추천 0
있음. 그런데 런팟은 어떰? 거기가 더 쌀걸?
70b 돌린거임?
아니 8b 돌려봤는데, 노트북에서 돌린거라 ㅋㅋㅋㅋ 'hi' 만 쳤는대도 답변이 1분 이상 걸림. 그런데 런팟은 멀 말하는거야?
그냥 groq.com 여기서 써 노트북은 포기하고
cpu로 돌려놓고 느리다고 불평하면 어쩌란거냐
그만 화내 병신아
런팟 검색해서 대충 봤는데 와 복잡하다 ㅋㅋ 그냥 체험해본걸로 끝