내 머신 스펙: 16인치 맥북 프로에 M2 Max 칩 박고, 램 32GB박았다.
ollama에 모델 설치하고 질문 던지면 답변은 존나 빠르게 뱉어내긴 함.
근데 씨발, 그 답변 내뱉는 데 모델이 4분이나 넘게 생각하더라.
그 사이 노트북이 존나 뜨거워져서 계란 구울까 고민했다.
진짜 문제는 배터리 소모량이 미쳐버린다는 거야.
4분 동안 모델이 생각에 생각에 꼬리를 물고 있는데,
영상 찍을 땐 배터리가 43%에서 35%로 떨어진 거만 보였는데,
녹화 끄고 바로 다시 체크하니까 33%까지 내려가 있더라.
씨발 똥게이 똥트만이 핵발전으로 전기 만들어야된다는게 이제 좀 공감이 가더라.
로컬로 LLM 자주 돌리려는 특슬람들은 노트북 베터리 병신될거 각오하고 돌리는거 추천한다.
로컬로 LLM 자주 돌리려는 특슬람들은 노트북 베터리 병신될거 각오하고 돌리는거 추천한다.
배터리 병신되는건 충방전 반복이라 걍 충전기 꼽아놓고 쓰면댐
https://docs.unsloth.ai/basics/tutorial-how-to-run-qwq-32b-effectively
요 세팅 맞춰서 해봐
오 ㄱㅅㄱㅅ