[💬] Ai에게 기획서 평가 받아본 사람?

[익명(211.63)]

제미니 쳇gpt 둘다 물어봤는데 점수가 너무 좋은데

참고로 인디게임 기준

2d호러어드벤처고

대사는 거의 없고 탐색형 스토리 게임임

기획서는 현재 23장쯤

[Indie 1(61.34)]

좋냐 나쁘냐로 물어보면 그냥 무조건 좋다고 함. 예상되는 문제점이 있냐든가 개선할 부분을 찾으라던가 하는 식으로 물어봐야 그나마 쪼금 쓸만한 답변이 나올락말락함

[익명(211.63)]

객관적으로 평가해달라고 했음. 점수변동은 할때마다 달랐긴함. 제미니가 좀 객관적이고 gpt는 점수 변동이 큰듯

[Indie 1(61.34)]

객관적으로 평가 <- 이것도 똑같이 좋다고 함 어쨌든 좋냐 나쁘냐를 묻는거잖아

[익명(plastic4826)]

객관적 평가라는 프롬프트가 별 의미가 없음 정확하게 문제 제시를 해줘야함 그냥 사람말 흉내내는 애들이라

[익명(211.63)]

@Indie1(61.34) 아직 좀 유저 친화적인가보네

[Indie 1(61.34)]

아직...이라기보단 날이 갈수록 점점 더 아첨꾼 되는거 같은데 ㅋㅋㅋ 1년전만 해도 지금보다 멍청하긴 했어도 이렇게 빨아주진 않았음 사람들이 아첨꾼을 좋아나봄 ㅋㅋㅋ

[익명(211.63)]

@Indie1(61.34) 그 정도인가 차라리 기획서를 보여주고 구워달라는게 더 팩트일려나 ㅎ

[익명(dictate0755)]

원래 칭찬만 해줌

[익명(211.63)]

칭찬을 최대한 배제해달라고 요청하긴했는데 그래도 좀 아니겠지?

[아침빵(lobster7304)]

[익명(175.204)]

너는 llm의 원리를 먼저 알아보는게 좋겠다

[익명(dictate0755)]

비꼬지마

[익명(175.204)]

@ㅇㅇ 비꼬는게 아니라 진심으로 하는 얘기다 트랜스포머 구조를 알고 나서야 ai가 어떤건지, 어떤 곳에 적용시킬 수 있는지, 어떻게 질문해야 하는지 등등이 보이는거지 무작정 쓰는건 시간 낭비이고 글쓴이도 ai를 잘못 쓰는 대다수의 사람들과 비슷한 행위를 하고있다

[익명(leaves8979)]

GPT한테 주관의 영역을 말하라고 하면 무조건 좋게 말해준다

[익명(leaves8979)]

그리고 기획서를 평가하는 기준이 얼마나 많은데.. 결국 기획서도 사람보라고 만드는거기 때문에 굳이 따지면 가독성같은것도 평가 대상이다

[익명(leaves8979)]

@ㅇㅇ 이런 평가 대상 하나하나 넣고 그 기준을 다 따로 학습시킨게 아닌 이상 거짓답변이라고 봐야함

[Indie 2(121.146)]

ai얘기도 많고 뭐 팩폭글도 있길래 재미삼아 올려본거임. 전체적인 반응은 다 거짓말이라고 하니까 그걸로 됐음

[퀼트(mok9181)]

와... 너 방금 진짜 핵심을 찔렀어... ㅇㅈㄹ 함 맨날

[Indie 2(121.146)]

동감. 그런점을 보면 GPT보단 제미니가 나았음

[tpf(arrow3322)]

그냥 사람한테 보여주는 거 어때

[Indie 2(121.146)]

그냥 AI에게 검증받아본 사람이 있는지 궁굼해서 남긴거야.ㅎ

[Indie 3(183.99)]

냉정하게 기획을 평가받아야지 기획서를 평가받는건 별로 의미가 없음;;;;;;

[Indie 2(121.146)]

응 맞아. 그냥 나같은 사람이 있는가 해서 남긴거야.ㅎ

[발가락모서리엣큥(rhkdaud2ck)]

멘탈관리하는데 좋긴 함 근데 llm은 좋냐 별로냐를 구분하는 분석보다, 이거의 문제점과 보완점이 뭐냐를 물어봤을 때 더 좋음 어차피 기획서라는게 '좋다!'로 끝나는게 아니라, 점점 더 보완하며 좋아지는게 목표인거니까

[익명(211.63)]

맞음. 접근은 객관적 검증과 구조적 모순. 형식적으로 비는구간이 있는걸 전제로 학습시켰음. 시행착오는 있었지만 나름 괜찮아서 제미니에겐 결과물을 평가만 시켰음.

[발가락모서리엣큥(rhkdaud2ck)]

@ㅇㅇ(211.63) ㅇㅇ 과정은 괜찮은데 그 평가를 llm에게 주는 것보다 혼자 간단한 프로토타이핑을 하든 팀원을 구하든 해서 1달 이내에 프로토타입 하나를 만들어서 평가 받아보라는거임

[익명(211.63)]

@발가락모서리엣큥 맞음. 프로트타입을 만들어서 구현가능한지 확인하는게 중요하다고 생각함. 그냥 기획서를 작성했고 최대한 실현가능하고 복잡하지않는 구조로 초기단계를 잡고 검증 단계에 있음. 그걸 과정 중에 하나지 이게 맞다는건 아님

[발가락모서리엣큥(rhkdaud2ck)]

객관적으로 평가해줘 -> 애초에 llm은 기본 세팅이 유저를 기분 좋게 하는데 세팅되어있음. 그래야 계속 구독할거니까 실제로 상담에 좋다고 하는 이유도 말 잘 들어주고 개떡같이 말해도 찰떡같이 알아먹고, 긍정적으로 반응해주기 때문임 그리고 너의 타겟층이 ai가 아니잖아? 너가 만드려고 하는 게임의 장르를 좋아하는 사람이 기본이잖아? 그럼 그사람들에게 다가가야지.

[익명(211.63)]

글쓴 의도는 ai에게 검증 받아본 나같은 사람이 있나는거고 단순히 글이 내용이 부실한건 맞음. 평가 중 ai가 감정적으로 내 취향을 분석하니까 항상 경계하고 학습시켰음. 점수가 좋다는건 기본적인 골격이나 모순점이 없다는걸 확인했다는 정도지 사람에게 다가가야하는건 동의함

[발가락모서리엣큥(rhkdaud2ck)]

AI는 도구라고 생각하는게 좋아. 도구한테 평가받는거 이상하잖아? 망치를 쓸 때 얼마나 못이 잘 박히는지, 힘이 덜 들어가는지가 중요하지 이 못이 얼마나 잘 들어갔는지 평가받는게 아니잖아

[발가락모서리엣큥(rhkdaud2ck)]

평가는 집주인에게 받아야지

[익명(211.63)]

애초에 평가라고 했지만 기획서에 기본적인 모순을 찾는 도구로 활용하고 있음. 사람에게 기획을 받기 전에 양식저으로나 구조적으로 문제가 없는지 검증 했고 어느정도 인정받은듯해서 남겨본거야. 근데 그냥 ai를 이런방식으로 써본사람이 있는가 호기심에 남겨본건데 대부분이 일단 부정적이네

[Indie 4(218.145)]

다들 너무 감정적으로만 보네. 나도 많이 쓰는데? 그냥 막연히 평가해달라면 잘했다고 긍정적으로 아첨만 하고, 스토리 게임이면 설정이나 진행에 모순이 없는지, 인물들의 행동이 앞서 설정한 세계관과 맞지 않는 부분이 있는지, 해당 설정이 세계관 내 인물들에게 잘 받아들여질지, 같은 사건을 캐릭터 A와 B가 서로 어떻게 받아들일지 같이 상세하게 특정 부분을 저격해서 물어봤을때 도움 많이 됐음. 게임 기획으로 넘어가면 지피티의 말을 계속 반박하는 식으로. 지피티가 A를 제시하면, A를 채택했을때 B라는 문제점이 발생한다고 얘기하면 조율점을 알려줌. 제안을 채택할지 말지는 내 몫이 되는거임.

[익명(211.63)]

오 나도 비슷하게 사용중임. 구조적인 기획서의 문맥상 또는 양식상의 문제를 찾고 수정하긴 좋다고봄. 기능성이나 시장성 감상적인 부분은 당연히 약하겠지. 의견을 묻고 다른 데이터와 비교분석하기도 나쁘지 않다고 생각함. 본문에 그냥 평가받아봤는데 좋더라고만 해서 글내용이 오해를 샀나봄

[Indie 4(218.145)]

계속 느끼는건데 인풋을 얼마나 잘넣냐에 따라 아웃풋이 달라져서 쓰는 내가 똑똑해져야 잘쓰는거 같음...

[익명(211.63)]

그리고 수정에 수정을 거듭하고 수정하지 않는 부분은 설명해 주고 의견 조율과정을 거쳐 최종 점수를 올리는 식으로 평가받았음. 일단 ai에게 통과했다면 논리적 오류나 양식상에 오타 및 문맥 문제. 카테고리 분할문제등 서술적 부분은 통과했다고 생각해서 점수가 좋았다고 한거임

[익명(211.63)]

사실 ai쓰다보면 개소리할때가 많아서 신뢰성이 떨어지는건 써본사람은 당연히 알겠지. 그럼 ai를 이해시키거나 ai가 잘알수있는 영역을 중점으로 평가받으면 나름 쓸만하지않을까했던거

[Indie 4(218.145)]

@ㅇㅇ(211.63) ㅇㅇ 그래서 난 요약 같은건 잘 안맡기고 데이터 주면서 통계랑 분석 위주로 시키고 스토리 짤때 모순 점검하는 용도로 씀. 레퍼런스 수집하려고 인터넷 페이지 크롤링해서 정보 요약하는거 시켜봤는데 정책 위반이라고 안해주거나 없는 정보 추가하더라.

[익명(211.63)]

@Indie4(218.145) 요약하면 왜곡이 심하더라고. 그래서 난 내용 삭제없이 빠짐없이 정리해달라고함. 이미지 생성할때도 그런경우 많더라. 감정적 평가도 중요하지만 기능적이나 구조적 평가 용도로는 쓸만하다고봄. 결과값은 내가 결정하는 일이라는 말에 동의함