[일반] 로컬 AI 사용하는 이유가 뭐야?

[익명(211.215)]

대충 알아보니까

로컬에서 돌리려면 컴퓨터 사양도 받쳐줘야 하고

설치방법이나 이런 것도 조금 귀찮은 것 같던데

1. 로컬 AI 수준은 어느정도야?

OPEN AI에서 개발한 챗GPT 3.5(무료버전) 정도까진 올라 옴?

2. 챗GPT 안 쓰고 로컬 AI 돌리는 이유가 뭐야?

로컬 AI는 무검열이라 쓰는 건가?

[익명(219.249)]

1. 아직 안옴 2. 연구용 취미용 등등

[익명(211.215)]

댓글 너무 고맙고

[익명(118.44)]

1. 무검열 버프덕에 챗봇 용도로는 3.5쯤 됨. 코딩처럼 진지한 용도로는 멀었음 벤치마킹 점수로는 3.5 넘었다는데 chatgpt는 정렬땜에 비교가 안되고, api는 안써봐서 모르겠다 2. 개인입장에선 무겸열 원툴, 인터넷 안되도 굴릴 수 있다거나 하는 장점이 있기는 함 상업적 사용 허용으로 풀린 모델이 있음. 성능딸려서 이걸로 상용서비스는 할게 못되고, 개발하기 전에 연습이라해야되나 그런 용도로 쓰기도 하나봄

[익명(211.215)]

정렬땜에 비교가 안 된다는게 정확하게 무슨 의미임?

[익명(118.44)]

정렬이라고 부르긴 좀 오바같긴 한데 chatcpt엔 뭐랄까 착하게 말하라고 내부적으로 프롬포트가 쎄게 걸려있는거 같음 캐릭터 과몰입 챗봇용도로는 못씀. 근데 나는 로컬모델을 챗봇으로만 쓰니까 1대1로 비교를 못한다는 말임 써본적은 없지만 api로 gpt 쓰면 그런거 없다고 함.

[익명(175.206)]

1. 언어모델은 성능을 평가하기 어렵기 때문에 다양한 평가방식을 도입해서 평가함. 그런 점에서 3.5를 넘었다는 오픈소스들이 최근에 있었을 걸. 업스테이지의 솔라나, 믹스트랄이나. 앞으로도 더 나올거임. 근데 문제는 실제 사용해본 사람들 사이에선 '글쎄?'라는 말이 나옴. 평가지표용 데이터가 조금씩 유출돼서 지표만 높게 나오고 있는 거 아니냐는 말이 나오는 중임. 어쨌든, 아직 3.5를 넘었기 때문에 로컬에서 쓸 수준은......딱 경계선인 것 같음. 2. ㅇㅇ무검열. 스타트업. 연구. 취미. 등등. 3.5는 당연히 넘고, 4 수준까지는 되어야 개인용 챗봇으로 사용 사례가 늘어날 듯. 오픈 소스를 편하게 클릭 몇번으로 쓰는 소프트웨어들도 생기는 중인 것 같고. 우리야 기다리면 되고.

[익명(211.215)]

위에 댓글에 정렬 땜에 비교가 안 된다는게 무슨 의미인지 혹시 아니?

[익명(175.206)]

나도 모르겠음. 대략 유추해보면, 웹에서 쓸 수 있는 chatgpt는 정렬. 즉 좀 업그레이드 한 거니까 동일 비교는 어렵지 않냐. chatgpt api 쓰면 정렬 덜 된 걸 쓸 순 있을텐데, 그건 본인이 안 써봐서 모르겠다. 이런 말인 것 같음. 어쨌든, 오픈소스는 아직 chatgpt 수준에도 못 미치는 것 같다.

[익명(175.206)]

아항...위에 댓 달았구나. 오픈소스는 약간 날것이니까 chatgpt랑 비교할거면 gpt도 날것으로 비교해야 하는데, 좀 세팅 되어 있을거라 동일선상에서 비교는 힘들다. api 쓰면 날것이긴 할텐데 써서 비교해본 적이 없다.

[익명(121.162)]

일단 검열. 깡성능은 부족해도 내 맘대로 커스텀해서 쓸 수 있다는게 좋음

[StableFluffy(maywell)]

특정 태스크에 파인튜닝해서 쓰기 좋음 그리고 무료임 - dc App

[ㅇㅇㅈ(znwvmjcucxx1)]

3.5 비볐다 호소하는 로컬은 많은데 써보진 않아서 몰루. - dc App