[🧪테스트] 로컬 LLM으로 NPC대화 만들고 있는데 자연스러운지 좀 봐줄 수 있음?

[Indie(112.156)]

인디 게임 개발하고 있는데

판타지 RPG에서 로컬 4B LLM으로 NPC 대사를 자동으로 만드는 시스템 개발 중임

근데 AI가 만든 대사가 진짜 자연스러운지 내가 봣을때는 잘 몰라서 다른 사람들의 의견이 필요함

설문 내용을 간단하게 말하면 

 - NPC 4명 (무뚝뚝한 노인/ 친근한 상인 / 쾌할한 장사꾼 / 점잖은 촌장) AI가 만든 대사를 읽고 자연스러운지 5점 척도로 평가 부탁함

 - 5분정도이면 끝남

 -정답 없고 느끼는 대로 체크해주면 됨

구글 폼 링크 : https://forms.gle/xPnnDTNuX1VWGiXGA

시스템을 간단하게 소개하면 

- 모델 : Gemma 4 E4B (4B 완전 로컬임 API 사용안함)

- NPC마다 YAML로 성격/말투/금기 정의해놓으면 그거 따라서 대사 생성

- NPC끼리 정보 전파됨 (간단하게 말해서 A한테 말한 거 B가 알게 되는 구조)

- 클라우드 안 쓰고 오직 로컬에서 작동함

피드백 주면 개발에 진짜 도움이 될것 같음

궁금한 거 있으면 댓글로 물어봐도 됨 

[Indie 1(112.169)]

오 그런데 말입니다. 전기세 대비 정말 효율적인 작업인가 생각해봐~

[글쓴 Indie(112.156)]

아 그부분은 이 플젝이 항상 GPU 풀로드로 돌리는 구조가 아니고 게임내에서 비동기 방식으로 업데이트가 필요할때만 LLM을 호출하여 업데이트하기 떄문에 전기세는 그렇게 부담이 안갈듯?

[익명(14.33)]

로컬로 퀄 나오는지는 둘째치고 스팀 유저 V램 8g 이하가 과반인데 로컬로 돌리는게 수요가 있나 싶은데

[글쓴 Indie(112.156)]

지금 현재 LLM모델이 Gemma4 E4B로 적용한게 이게 한 6~6.5기가 정도 먹는데 위에 엔진까지 올리면 8기가로 커버가 가능한데 확실히 vram 8기가 이하는 힘들것 같음. 그래서 E2B로 다시 사용해서 퀄 체크를 할려고도 생각중에 있어. E2B로 하면 대충 LLM만 3.5기가로 커버가 될것 같거든

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[글쓴 Indie(112.156)]

아마도 gpu가 없으면 따로 지원을 안할 것 같음. 4B 모델이 CPU로 추론하면 응답 한개 만드는데 대충 2~3분정도 걸리는데 이렇게 하면 비동기로 해도 게임의 플레이를 못 따라가기 떄문에 gpu만 지원할것 같음

[글쓴 Indie(112.156)]

@파이네 아 그부분은 어차피 cuda랑 vulkan만 지원하면 되고 vram 6기가 이상이면 다 될것 같음. 내가 테스트할때는 LM Studio에서 vulkan으로 LLM을 서빙했어. 내 글카도 RX 6600XT여서 아마도 AMD에서 되면 NVIDIA에서는 왠만하면 다 잘될듯?

[글쓴 Indie(112.156)]

@파이네 조금 더 자세히 이야기 해주면 라데온은 vulkan으로 LLM을 돌리는거고. MAC은 아마도 ML Core나 아마 애플에서 제공해주는 다른 툴킷을 써야 할것 같음.

[글쓴 Indie(112.156)]

내가 알기로는 vulkan이 nvidia 글카들도 지원은 해서 vulkan으로만 배포하면 amd/nvidia 상관 없이 다 쓸수 있을것 같아. 근데 cuda대비 vulkan이 좀 속도 느려서 나중에 cuda랑 vulkan을 따로 업데이트 하는방식으로 가야 할것 같아. 그리고 MAC은 굳이 지원안할것 같아 나중에 시간이 되면 할수도?

[파이네(indiegamemaker)]

[익명(judicial7797)]

말투가 ai 느낌 나긴하네 그래도 로컬로 이 정도까지 왔으면 많이 발전했구나

[익명(direct7847)]

대사 빡시게 뽑는 사람들 아니면 이거면 뭐 충분할 거 같은데