가서
받고 설치한다
뭐 막 뜰텐데 알아서 대충 하고
1->2(검색어: qwen3 vl 8b)->3
사진에 써있는대로
ai 실행은 ㅈㄴ 무식해서 구동하려면 모델 파일 전체를 ram에 올려야 함
그래픽카드로 ai를 구동하게 되면 그래픽카드의 ram인 vram에 모델 파일을 통째로 올리게 됨
즉, 모델파일 용량+@ = 필요한 vram임
vram이 부족하면 dram에 일부분이 나눠져서 올라가는데, 그럼 속도가 1/10 토막이 나버림
아무튼 자기 컴퓨터에 알맞는 모델 파일을 받았으면
3번 꼭 체크
그리고 원하는 모델을 불러오면 된다
여기에 추가적으로
컨텍스트 길이란, 모델이 한 번에 처리할 수 있는 데이터의 크기를 말함
그냥 저거 늘리면 큰 이미지랑 많은 텍스트도 처리할 수 있게 되는 대신 vram을 많이 쳐먹게 되고
줄이면 그 반대임
4096정도면 어지간한 건 다 될텐데, 애초에 이정도에선 줄여봤자 별 차이가 없음...
그리고 GPU 오프로딩은 무조건 최대로 해놓으샘
이런식으로 사용할 로컬 ai 모델을 올려놓으면 됨
추천하는 모델은
OCR: qwen3 vl 8b
번역: yanoljanext-rosetta-12b-2510
이게 뭐임??
이게 뭐임?