24시간 서버로 라즈베리파이 쓰고 있는데
바이브 코딩하다가 지금 cpu 존나 빨아먹는걸 주말마다 해야하는걸 만들었더니 라즈베리파이가 많이 부족하고
한번씩 llm을 필터역할로 참 거짓 판단하는데 고빈도로 쓸려하거든?
마지막에 살짝 인간의 시각으로 필터 하기 원해서
지금은 api 제미나이 flash 꽁짜 크레딧에 기대서 돌리고있는데 비용만 5만원씩나옴
크레딧이 3월달에 종료여서 gpt oss 20b 로컬로 돌리는 꽤나 내 조건에는 준수해서
gpt oss 20b 로컬로 돌린다 기준으로 32gb 잡고 살려고하는데
m5 기다릴까? 아니면 걍 지금 살까? m4 그게 존나 고민임
성능 좃구릴텐데 openrouter 같은데서 테스트로라도 써보고 결정해봐
ㄳㄳ 이런데가 있노
일단 oss 120b를 써도 젬플쓰다왔으면 뒷목을 잡을거임
Cerebras Code랑 GLM Coding Plan 중에 고려해보셈 둘다 어차피 api써야되니까 결제하기전에 연결해서 써보고
맥미니로 떡을 치는 건 맞는데 성능이 만족스럽냐는 건 별개라서...
https://m.dcinside.com/board/thesingularity/954052
이게
정리
ㅆㅅㅌㅊ
ㄳㄳ 이글 잘적었더라
우리가 생각하는 쌀먹이나 미니 모델 정도가 120b 급은 되어야 하는걸로 아는데 별로이지 않을까? 먼저 클라우드 돌려보셈 ㅋㅋ 막상 또 120b 돌릴려고 dgx 같은 애들 찾아보면 대역폭 딸려서 조금 느리다는거 같고 - dc App
예산이 얼마냐인게 문제 아닐까 예산이 적고 바로 필요하면 m4 32기가가 맞고 아니면 얼마가될진 모르지만 m5가는게 맞지
일단 난 맥미니 산 쪽이긴 해 ㅋㅋ32기가로 ㅋㅋㅋ 애플진짜 똑똑하다 뭐 하나 욕심내면 바로 50만원씩 뛰는데 결국 끝도없이 보게됨 ㅋㅋ 지금 너가 원하는거도 m5아니고 지금 예산 들이면 바로 가능한건데 이게 머리 뽀개진다. 걍 옛날사람됐다치고 싸게살수 있을때 산거다 난