계속 이렇게 같은짓 반복함,


개빠간데 이거 맞아..?

무한 루프걸림 내 시스템 5080이고 램 64기가인데

처음에 렉걸리고 너무 안되서 Number of layers to force the experts into CPU. Saves

VRAM and can be faster than partial GPU offload. Not

recommended if the model fits entirely in VRAM.

이설정을 30으로 최대로 올렸더니 답변 하는데 1초만에 바로바로되긴 하는데
성능이 저러네..?

가사 번역시킬때도 4번은 시켜야 원하는대로 뽑아주더라ㅜ ㅠ


그냥 이미지 인식 못하는 16GB 짜리로 다시 설치해서 사용하면 괜찮을까?

LM 스튜디오로 했어 OLLAMA 어렵다고 GPT가 이거 추천해서-_-;

헤르메스나 오픈클로 물려서 쓴다던데 그것들은 또 뭔지..앞으로 가야할길이 참 먼데

속도 빨라진건 기쁜데 내가 설정한 셋팅때문에 저래 멍청이가 된건지 궁금해서