로컬로 ai채팅만 돌릴 수 있는 모델 만들어주면 좋겠네 누가

[레헤(sg6290zzza)]

근데 결국 ai채팅 맛있게 조질려면 파운데이션 모델 llm 얹어야 디테일하게 나와서

sad

[하늘바라기(function8845)]

gpt기반에 glm으로 메인 돌리고 한국어 소형 모델(ai채팅용)로 보정하는거 구현중이긴한데

[하늘바라기(function8845)]

존나쳐느릴듯....

[레헤(sg6290zzza)]

딱 보자마자 개느릴것같다는생각이들긴하네

[레헤(sg6290zzza)]

비용면에서도 큰차이가 있나?

[레헤(sg6290zzza)]

커도 30퍼센트정도 감축될것같은데

[하늘바라기(function8845)]

@레헤 돈 좀 모으면 젬마 파인튜닝도 할예정임 돈이 없움 근데

[하늘바라기(function8845)]

@레헤 그렇죠. 예상치가 그 언저리임.

[레헤(sg6290zzza)]

젬마는 비쌋

[하늘바라기(function8845)]

@레헤 비용 감축보다 나중에 끝의 한국어 로컬 모델만 만몇천원으로 파인튜닝해서 원하는대로 문체 바꾸는 그런걸 생각중임

[하늘바라기(function8845)]

@레헤 gpt가 지능 높으니 대충 논리적 전개 짜라 하고 glm으로 돌리고 (이건 변경 가능하겠지) 문장은 로컬모델이 다 고치는 구조

[레헤(sg6290zzza)]

@하늘바라기 그럼 사실 못쓴 노피아 하꼬 소설같은거 허락받고 대충 돌려서 성능 향상 나오는걸로 검증해봐도 되겠는데

[레헤(sg6290zzza)]

@하늘바라기 사실상 글쓰기서포팅으로도기능할수있는거아닌지

[하늘바라기(function8845)]

@레헤 맞음. 그것도 노리고있음.

[하늘바라기(function8845)]

@레헤 데이터는 ai 소설 존나 크롤링했음. 어차피 저작권 없으니까 ㅋㅋ... 그걸로 검증도 하는중

[레헤(sg6290zzza)]

@하늘바라기 학습말고 검증 데이터 말하는거지?

[하늘바라기(function8845)]

@레헤 ㅇㅇ 검증용 ai한테 '비선호'하도록 학습도 시키긴 함

[레헤(sg6290zzza)]

@하늘바라기 근데 이거 딱 되기만 하면 ai소설쌀먹효율 극대화될것같긴하네

[레헤(sg6290zzza)]

@하늘바라기 전개용 로컬모델 하나 만들어서 압축시킨다음 llm에 먹이고 문체다듬는 로컬모델로 가공하면ㄷ

[레헤(sg6290zzza)]

@하늘바라기 전개용 모델은 llm튜닝하는게 낫나

[하늘바라기(function8845)]

@레헤 학습에 웹소 데이터 들어가니까 (복제하는데에 쓰거나 내용 암기는 안시키고, 직접 생성은 안하지만) 유료 웹소 연재용으로 사용 못하게 라이센스 걸어서 낼듯 ai챗용으로만 쓰게

[레헤(sg6290zzza)]

@하늘바라기 라이센스 걸어도 무조건 쌀먹에 쓸것같긴 하네...차라리 범용으로 안푸는게 나을지도

[레헤(sg6290zzza)]

@하늘바라기 요즘 보안도 앵간하면 뚫리던

[하늘바라기(function8845)]

@레헤 모델 서빙 플랫폼에만 제한적으로 올려두고 라이센스를 나한테 명시적으로 공정이용이라는 사실을 허가받게 해야하나?

[하늘바라기(function8845)]

@레헤 그럼 걍 풀오픈소스 해야지 뭐...