* 3줄 요약 맨 아래 *
AI 던전, 즉, 초기의 AI 던전은 GPT2 기반이었습니다.
GPT2는 어마어마한 양의 자연어를 학습시킨 Pre-trained model로,
이전과는 다르게 아주 자연스러운 자연어 처리가 가능해졌습니다.
이 GPT2를 Fine Tuning해서 만든게 초기의 AI 던전이었는데,
개발자인 닉 월튼이 말하길 초기의 AI 던전은 약 30~90MB의 데이터셋이
AI 모델을 학습시키는데 필요했다고 합니다.
그냥 아무 말이나 하는 GPT2를 텍스트 게임풍의 말을 출력하도록 만들기 위해서
30~90MB의 데이터셋이 필요했다는 뜻입니다.
제가 이번에 진행하는 프로젝트는 KoGPT2 기반으로,
SKT에서 엄청난 양의 한국어를 학습시킨 Pre-trained model입니다.
이것을 사용하면 양질의 자연어를 출력 가능합니다.
그래서 이 KoGPT2를 가지고 새로이 한국어에 특화된 AI 던전을 만들려는데,
아무래도 데이터셋 조달에 큰 어려움이 있습니다.
그래서 여러분들께 도움을 받기 위해서 이렇게 글을 쓰게 되었습니다.
아무래도 AI던전에서 아이디어를 얻은거라
TRPG 게임 플레이 데이터를 저에게 보내주셨으면 합니다.
제 이메일 주소는 kodungeon@gmail.com이며,
많이 보내주실 수록 더더욱 감사할 것 같습니다.
보내주신 분들은 원하신다면 프로젝트 리포지토리와
완성된 프로젝트 내에 이름/닉네임을 올릴 수 있습니다.
다만 선정적이거나 정치적, 모욕적인 닉네임은 올리기 어려움을 이해해주시면 감사하겠습니다.
---
예상 QnA
Q. GPT3 나오고 Waitlist도 사라졌는데 왜 안 씀?
A. 일단 GPT3의 성능이 압도적인건 사실이나, 그걸 Fine Tuning해서 쓰려면 돈이 백만 단위로 깨짐. 게다가 플레이 할 때마다도 돈이 나가서 금전적인 면에서 매우 불리함. AI Dungeon처럼 수입원이 있는 것도 아니라서 어려움
Q. 내 데이터를 악용하면 어떡함?
A. 일단 제공받은 데이터는 모두 공유되지 않을 것이며, 전부 전처리 과정에서 만약 개인정보 관련된게 있다면 전부 쳐낼거임. 일단 개인정보가 있어서 인공지능한테 좋을 것도 없고.
Q. 근데 AI던전을 번역해서 플레이하는게 더 성능이 좋은거 아님?
A. 이건 맞을 수도 있고 틀릴 수도 있음. 다만 한국어에 특화된 AI 던전을 만드는게 그 목적임. 딱히 AI 던전 시장을 휘어잡겠다! 이런 목적은 없음.
Q. 플레이 어떻게 함?
A. 원래는 로컬, 그러니깐 사용자의 컴퓨터에서 돌리게 하려고 했는데 그러면 너무 컴퓨터에 무리가 갈 것 같아서 colab에서 쓸 수 있도록 할 예정임. 이 부분은 개발하면서 바뀔 것 같음
Q. 나도 같이 만들고 싶은데, 같이 해볼 생각 없음?
A. 이 프로젝트는 딱히 금전적 이익이나 필사적으로 만드는게 아니라 취미로 만드는 거라서 팀을 만들고 싶지는 않음. 다만 중간에 막히면 팀을 모집할 생각이 있음
Q. 플레이 데이터가 없어서 주기 어려운데, 도와줄 다른 방법이 있음?
A. 앞에서 말했듯이 금전적 목적은 없어서 후원은 안 받을 거임. 가끔 텍겜챈에 아이디어 올려주거나 화이팅하거나 나중에 생길 깃허브 리포지토리에 별 눌러주면 고마울 것 같음.
---
3줄 요약
1. 한국어에 특화된 AI 던전 개발하는 중
2. AI에게 학습시킬 데이터가 부족해서 TRPG 유저분들이 플레이한 판타지 기반의 텍스트게임 데이터가 필요함, Mega로든 Google Drive로든 공유 부탁
3. 프로젝트는 오픈소스, 무료일 것
얻을 데이터라 해 봤자 난잡한 채팅으로 된 로그 정도일 텐데 그게 학습에 도움이 되나. AI던전이나 다른 것들도 대부분 소설이나 팬픽 데이터로 학습시키지 않았음?
초기 AI 던전의 경우 선택지형 TRPG에서 데이터를 가져왔었습니다! 일단 저는 나레이터 식의 데이터를 원하는 거라 전처리를 거쳐서 따로 나레이터 부분만 걸러서 사용할 예정입니다!
보내줄 수야 있긴한데 로그중에 잡담이나 오타도 꽤 끼어있는데 괜찮은거임? 그거말고도 다이스롤이나 공격 매크로 같은 별로 도움 될것같지 않은 데이터도 꽤 끼어있을텐데
네네 괜찮습니다! 오타의 경우에는 전처리에서 빠지거나 아니면 넘겨도 가중치가 적게 책정이 되기 때문에 문제는 없습니다. 다이롤이나 공격 매크로의 경우는 전처리에서 제외할 수 있습니다
선택지형 trpg? 디비니티나 드래곤에이지같은거 말하는 거임? 차라리 그런 게임들 스크립트 수집하는게 낫지 않을까... 로그는 되게 난잡하거든
원래 그러려고 했는데 그렇게 스크립트만 쫙 긁어서 가져오면 순서 없이 나레이션만 긁어져오기 때문에 AI에게 학습한 뒤에 랜덤으로 나레이션이 생성될 가능성이 커져요. 플레이데이터를 모으는 이유가 인간이 직접 플레이하면서 생긴 자연적인 흐름? 을 얻기 위해서 입니다!
빌런의 썰도 받냐?
뭔진 모르겠지만 일단 받습니다!
네이버 TRPG카페에 리플레이 보면 그건 공개한 로그니까 어느정도 참고가 가능하지 않을까?
오오 정보 감사합니다! 리플레이 이용해서 만들 수 있을 것 같습니다!
자유열람이랑 자유사용은 좀 다르지...? 올린 사람한테 허락은 받아야할듯
상업적 이용이 아니면 괜찮지 않음?
아 일단 혹시 모르니 허락을 받은 다음에 사용하겠습니다
개추 하나 주고 감
감사합니다!
플레이 로그를 각색해서 소설처럼 쓴 것도 괜찮음?
네네 괜찮아요! 오히려 더 좋습니다!
우리팀 D&D 5판 로그 저장소
https://morgrave.github.io/bookshelf/
로그 html 파일은
https://github.com/morgrave/bookshelf/tree/main/src/campaigns
오오오오 감사합니다!!!
AI 던전처럼 야한것도 할 수 있어요?
+
?
킹한민국에선 못할듯
이걸 텍스트 스트림으로 줘도 분석이 되나? 데이터 리파인은 직접 하실 생각? - dc App
네네넹 직접 할 생각입니다!
옛날 고갤trpg 로그 저장소도 있긴한데... 거기 로그가 쓸만할지는 모르겠다 - dc App
오오 그런가요??
GPT3 왜 못씀?
파인튜닝에 돈이 백만 대로 깨져서요..ㅠㅠ
펀딩한다하면 나름 수요 있을거 같은데 펀딩해볼 생각은 없음? - dc App
학습용 데이터 날먹하고 싶은 마음은 알겠는데, 중간 성과까지는 아니라도 뭔가 결과가 있겠구나 싶은건 보고 싶네
진행 상황을 여따간 안 올리는거 같은데 혹시 궁금하면 여기 링크 들어가봐
https://arca.live/b/textgame/43010675