[일반] AI모델 로컬에서 일반인이 쉽게 사용하게 만들고싶은데

[익명(222.120)]

쉽지가 않네

개발지식 하나도 모르는 주변 사람들이 딸깍 한번으로 로컬에 설치되게 하고싶음...

개발지식 아주 조금 있는 내가 컴터에 직접 올리는것도 우여곡절 많았는데.. 

파이썬코드나 의존성들은 어찌저찌 잘 패키징 하면 될거같은데 

CUDA 툴킷이나 모델같은건 어떻게 설치 하게 할지 모르겠음 

이런거 해본 사람 조언좀 ㅜㅜ

[ㅇㅇ 1(61.254)]

로컬 모델 돌릴 수 있는 ui 프로그램 같은 거 어떰 파이썬을 어거지로 빌드해놓은 거라 용량은 다 뒤지게 크더라

[글쓴 ㅇㅇ(222.120)]

문제는 CUDA 툴킷임 ㅜㅜ

[ㅇㅇ 2(114.205)]

어차피 그정도 지식도 없는 일반인은 컴퓨터 사양도 뻔해서 llm모델 돌아가는것도 없고 돌려봤자 의미 없음

[글쓴 ㅇㅇ(222.120)]

ㄴㄴ.. 영상쪽 사람들이라 컴사양은 기본 4090에 램 128임

[코로네개스키(ehfdkdhkwnj)]

굳이 킹반인들이 로컬 llm을 써야되나 4090에 128기가 해봤자 소넷 3.0수준만도 못한데

[글쓴 ㅇㅇ(222.120)]

llm 말구 3D에셋 생성하는 모델같은거 쓰려고