요즘 윈도우에서 LLM 쓰기에 ollama가 제일 간편한 듯 하다.

물론 LM Studio같이 깔끔한 것도 있지만 라이센스 때문에 회사에서 lm studio를 쓸 수가 없다.


'ollama를 웹 인터페이스로 쓰면 더 편하겠지? 근데 내 컴퓨터는 구려서 7B로 돌려야겠지? 그럼 미스트랄 모델이 제일 낫겠지?'

하는 생각으로 선택함.


<테스트 환경: helios neo 16 노트북 (i9-13900HX, 64GB, RTX4060)>



1. wsl 설치



2. ubuntu, ollama 설치



3. mistral 7b 4Q0 설치

양자화 모델이고 나발이고 걍 기본모델 설치.

근데 왜 회사에선 curl 명령어 치면 SSL 인증서 에러가 뜰까? 방화벽 문제인가?

-k 명령어를 쳐서 ollama 설치까진 됐는데 ollama에 mistral 설치는 어케 하는지 모르겠음 ㅠ




4. ollama webui 설치

뭐지 git clone 하니까 github 아이디 비번 넣으라고 하고 실패. 왜일까?



아 그렇구나 ollama를 ollma로 쳤구나



계속 오타나고 뭐 놓치고 그러니까 빡이침

이름 가리기도 귀찮아짐



업데이트하고 npm 깔고 이랬는데 node.js 버전이 안 맞는다고 하

리눅스는 이런점이 불편해..



node.js 업데이트 해줘도 자꾸 버전이 다르다고 해서 봤더니 root랑 일반 계정의 버전이 다른 ^^

설치할땐 root로 로그인하고 합시다.

nvm, npm, node.js 다 지우고 재설치. 이번엔 root로 로그인해서 진행




5. npm이랑 파이썬 설치하고 ollama webui 서버 실행



6. 대충 아이디 만들어서 넣고 로그인




7. 프롬프트도 넣고 이것저것 꾸며볼수 있는데 지금은 넘 귀찮다. 대충 마무리.

모델 바꿀수 있고 한글로 튜닝된 모델도 있다고 하니까 그걸로 바꿔봐야겠음.






8. 코드 리뷰 시켜봄

인터넷에 검색하면 나오는 '링크드 리스트' 예제 코드

(짤린거임 밑에 쭉 있음)




9. 코드 리뷰 답변

없는 함수, 변수 만들어내는 환각 증상은 없어보임. 아 귀찮다 오늘은 일단 여기까지만