[📪정보] (정보글) OLLAMA 로컬 AI 설치 및 사용 결과

[익명(210.126)]

ㅇㅇ

로컬에서 쓸만한 ai 테스트해보려고했는데 여기 누가 OLLAMA 에 대해서 추천해줘서 직접 설치해봄

맥북, 리눅스만 지원하고 있고 현재는 윈도우에서 지원하지 않음.

윈도우에서 하려면 WSL 을 설치해줘야함. 이건윈도우에 우분투리눅스를 쓸수있도록 쉘 정도를 지원해주는거임.

근데문제가있는게 뭐냐면

WSL만설치하면 아무것도 못함. GCC도 설치되어있지않음.

WSL 설치 -> GCC 설치 -> NVIDA CUDA 설치 (리눅스 드라이버)

NVIDIA 가 좃같은게 리눅스 드라이버가 잘안잡힘..

여차저차 성공해서 로컬에서 AI 를 써보는중.

질문내용은 가장간단하게 파이썬으로 계산기 만들어달라했고

LA에서 캘리포니아까지 가는 버스노선알려달라했는데

뭔가 같은세션에서완전 상반되는? 질문을 하면 안되는것같다 

파이썬 묻다가갑자기 왜 버스노선을물으세요? 약간 이런느낌임

너네도 한번 설치해봐 

[익명(fbjhc9a7z8wr)]

정보탭으로

[익명(119.207)]

쓸만함? Gpt3.5 수준에 무검열이기만 하면 굉장히 쓸만할 거 같은데

[익명(210.126)]

근데 너무 느려 내 그래픽카드가 3080인데도 느려

[익명(175.206)]

오홍......7B mistral은 3080에서도 느리다.....메모

[익명(210.205)]

양자화 안한 쌩모델 돌리면 당연히 느리지 ㅋ

[익명(222.119)]

짤만보면 cpu only로 돌아간다고 적혀있는데 글카 제대로 잡힌거 맞음?

[익명(210.126)]

제대로 안잡힌게 맞아 지금 열심히 잡는중 일단 빨리 써보고싶어서 패스함

[익명(210.126)]

gpu 드라이브 잡음

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[익명(210.126)]

이건 또 뭐야?

[익명(landofooo)]

그건 어떻길래

[디시콘발사대(fcbjsjmu1t9f)]

난 식탁에 앉아서 챗GPT처럼 정렬 다 된것만 받아먹어서 저런 반응은 오히려 신기해보이네

[멜루(gustn1914)]

gpu ram이 몇gb야?