4080노트북(32gram+vram12g)으로
Qwen 3.0 8b 랑 젬마3 12b 돌리는데 속도 빠르고 잘돌아감
여기다 무료 인터넷 크롤링 api 까지.달아놓으니
그냥 일상적인 업무나 묻고싶은거 기타 개인비서로 무제한으로
굴릴수있어서 개좋은데..? 코딩까지는 아직 아닌거같긴한데
보고서 쓰거나 요약하거나 그냥 적당히 기업분석하거나
심심이로 쓰거나 공부하거나 할때 그냥저냥쓰는 제미니 2.5플래쉬 이런거보다 부족한점을 딱히 모르겠음.
오히려 무제한으로 굴릴수있는 장점만 있는거같고.(물론 난 겉햝기로 쓰니 그렇지만 사실 인류95퍼센트정도는 다 그런용도 아닌가 sota급으로만 쓸이유가 없음 질문자체가 개허접이니. 개발자 수학자 공학자 이런애들이나 골수까지 파먹지)
지금도 오픈소스 풀리는거 이정도인데 거기다 강화학습까지 추가되는거 나오면..미친..
몇년후에 qwen 8 젬마8 딥식 r7 이런거 나오면 진짜 자비스 멀지않았다고 생각함. 지금도 아이패드 m4이런거 박힌건 휴대용으로도 돌릴수있는판국이니 5년만 지나도 스냅엘리트5 이런데서 무난하게 돌려버릴듯.. 코딩도 바이브로 정복하지않으려나?
인류지식의 정수를 담은 llm모델 용량이 5기가 밖에 안되는 이런것도 좀 충격적이기도 하고.
엑사원은 4.0 나오면 그때 돌려봐야겠다.
Anything llm 씀? - dc App
다 ollama 로 쓰는거아님?
Anything llm 쓰는사람도 있는것같아서 - dc App
근데 너무 작은 모델밖에 못 쓰잖아..
근데 8b 12b 모델이 일상적인 질문은 다 소화해 내던데. 세종대왕 맥북던지는것도 간파해내고. 작은모델밖에 못쓰지만 그것도 평범한 수준의 사용으로는 과분하다고 생각이 들정도.
70b 32b급이랑 차이가 너무 커서 난 좀..
그리고 지금이야 휴대용 디바이스 수준에서 8b 12b가 한계지만 노트북도 7090 정도 가서 v램 64주고 이러면 32b급도 돌릴건데. 70b급도 돌리고 양자화 기술도 더 발전할수도 있고.
그때까지는 그냥 LLM 수박 겉할아먹 느낌이라고 생각하면 됨.
아 맥북은 공유메모리라서 고사양 모델 돌릴수 있겠다
그러니까 그리고 지금 ai가 막 시작해서 기존 글카들이 vram 올리는게 소극적이라 그렇지 ai용으로 vram 128기가 달아주고 할수도 있지. 이젠 그게 중요하니까. 그리고 vram 더달아주는거 그렇게 돈 많이 안들거라서. 나중엔 vram 256 512 이렇게 달고 로컬에서 70b 널널하게 돌리겠지.
아직은 컨텍도 작고 심화작업 성능도 아리까리함
모델 최대 컨텍은 널럴한데 사이즈 무작정 키우면 메모리초과라서 제한이 큼.
만원이면 Qwen3 235B를 펑펑써댈수있는데 백만원넘게주고 8B를 느릿느릿쓸이유를 모르겠삼
ㄹㅇ;
아니지 내가 노트북을 가지고있는건 순전히 게임용도고 거기다 덧붙여서 추가로 8b급을 무료로 돌릴수있는거니까. 그리고 8b급이라고 이게 허접쓰레기면 당연히 나도 무시하겠는데 최근모델이라 그런가 성능이 상당함.
Cerebras같은데로가면 Qwen3 32B를 초당 2100토큰 속도로 백만토큰당 0.4/0.8달러로 쓸수있어요
돈내고 쓰는거 좋은거 모르는게 아니고 그냥저냥 적당한 모델에서 무료로 노예처럼 무한대로 굴릴수 있다는게 장점인데 235b도 무한대로 굴리면 계좌에 데미지는 마찬가지지. 내가 피땀흘려 번돈인데. 소중하게 쓰자고. 닭잡는데 핵무기 동원할필요 없다는말.
글세요 굴려보면알겟지만 비동기로 요청 수십개씩 보내지않는한 정말 몇천원쓰기가 어려워요 gpt-4.5라면 핵무기겠지만 Qwen 정도라면 말그대로 닭잡는칼인데 오히려 4080쯤이면 전기세로 api비용 충분히 맞먹지않나 성능도 좋고 속도도 빠르고 가격은 별차이없단것임 보통 로컬찾는분들은 회사에서쓸려고 보안챙기는것때문이던데
전기료 대비해서 계산은 안해봤지만 진짜 필요할때만 쓰면 235b돈내고 쓰는게 더 쌀수도 있겠습니다 다만 미래라고 한 이유가 나중에 노트북 수준에도 vram 128기가 이런식으로 달고나오면(사실 이렇게 안될이유도 없습니다) 전기료만 내고 지금은 겨우 8b 지만 80b모델정도 뚝딱 돌릴수 있을테니 그게 미래가 아닐까? 라는 점이죠.
요즘 8b 양자화도 기본은하지
진짜로 이건 써봐야됨 일상적수준에서는 로컬로도 될정도로 많이 올라온거같음.
미래는 맞는데 지금 쓰기에는 너무 별로임
gemini 2.5 flash만 해도 한계가 생기는게 눈에 보여서
미래에는 지금보다 훨씬 싸게 훨씬 높은 80b 이정도도 개인디바이스로 돌릴수있을거라 믿음.
ㅇㅈ