[🐣질문] 카드게임 ai는 어떻게 구현해야 할까

[익명(117.111)]

원래 ai쪽은 만들어 본게 rpg몹 ai나, 디펜스겜 적들 ai같은거 손대본게 전부임, 이런 것들은 결국 몹 상태가 플레이어 행동 따라서 변화되는게 전부고, 결극 플레이어의 자극 -> ai의 행동의 구조였고, 그런데 카드게임같은 전략게임으로 넘어오니 ai에게 전략이라는걸 구현하는게 너무 힘들다

지금은 일단 포커 구현해두고, 거기서 ai를 만들어봤음

ai는 현재 공개된 패를 기반으로,  자기가 좋은 조합을 가질 확률을 매턴 계속 계산해서 판돈을 거는 식으로 디자인 했음,  계속 걸다가 확률이 일정 이하면 다이, 확정이면 올인 이런식으로

근데 포커같은 경우 나오는 조합이 정해져있고, 결국 정해진 턴 안에 게임이 끝나잖아? 그렇기 때문에 이렇게 카드 카운팅이랑 확률 계산이 된다고 생각되니까, 이걸 좀더 복잡한 카드게임(ex 하스스톤)에 적용된다 생각하면 이런 방식으로는 안될것 같다는 느낌이 너무 강하게 들어,

결국 포커는 나랑 적이 동일한 범위의 덱을 사용하니 카드카운팅에 기반한 확률이 가능한거기도 하고..

그래서 일단 기본적인 행동 패턴을 생각해본건

1. 각 카드에 점수를 부여, 현재 본인이 가진 자원(패,덱, 기타 자원) 안에서 최대치를 가지는 조합을 실행하는 방식

-> 고민 결과, 카드간의 연계등을 구현할 수 없을 것 같아서 보류

2. 카드에 점수를 부여하나, 카드간 연계가 활성화 되면 가중치가 증가(적 카드 파괴 가능, 아군 강화 가능 등등의 연계가 가능하다면),

각 선택에서는 그 선택 당시 상황에 따라서 가중치가 변화하며, 이런 선택을 본인의 자원이 다할때 까지 반복한다, 이 방법으로 나온 모든 선택지의 점수를 계산하여 거기서 합계가 가장 높은 루트를 따라 카드를 냄

->  ai는 매턴 자신이 할 수 있는 경우의 수를 모두 계산하고, 가장 좋은 그래프를 골라 간다는 방식, 대신 게임에 나온 자원이나 카드의 수가 늘어날수록 처리가 복잡해질것 같음, 또한 자원의 모든 소모를 기준으로 하면, 매턴마다 ai가 자원을 다 털어서 미래를 파는 경우가 허다할 것 같음

2번이 만약 과도한 처리시간이 걸리지 않아 사용이 가능 할시의 개선안들

2-1

자원에도 점수를 매기고, 2번의 결과로 얻을 수 있는 이득이 해당 자원의 점수보다 낮을시 해당 루트 포기 -> 카드를 아예 내지 않는것이 이득일 시의 행동

2-2

자원의 양에 따라서 보정치 변화, 패가 적어질수록 점수에 역보정을 걸어서, 그 이상의 큰 이득이 아니면 해당 루트를 선택하지 못하도록 함 -> 패의 소모가 큰 행동에 제한

2-3

특정 카드들에 추가적인 속성을 부여, 일정 이득을 내지 않으면 카드를 내는 루트에서 배제되게 함 -> 중요한 카드에 제한을 걸어서, 중요한 콤보 카드나, 적 방해카드 등을 무작정 내지 않게 함

-> 결국 위의 방법들의 공통적 문제는, 어떤 카드가 좋고 나쁜지 가중치를 일일이 설정해줘야 한다는 단점이 존재함,

결국 생각했던 방법들은 결국 다 큰 구멍이 있다는걸 느낌

일단 여기까지가 지금까지 공부하고, 연습해본 생각은 이정도인데, 혹시 카드게임 ai 관련해서 참고할 자료가 있을까?, 혼자 맨땅에 헤딩하며 짜내기가 너무 힘들다..

- dc official App

[망치숭이(malletmonkey)]

일단 어렵게 생각하지말고 우선순위부터 차례차례 구현해나가봐. 우선순위 1은 상대 명치 / 현재 1조건을 만족시킬만한 플레이를 못한다면 필드템포 / 2조건을 만족시킬만한 플레이를 못한다면 덱압축 or 상대필드제거 or 플레이 방해 등등등... 카드게임의 본질만 생각해도 생각보다 금방 쉽게 될 수도 있음. 일단 '덱이 돌아가기만' 하면 되는거니까

[망치숭이(malletmonkey)]

나중에 수계산으로 들어간다면 1차적으로 필요한건 자신의 덱카운팅이고, 그 다음 필요한 카드가 나올 확률을 계산해서 플레이한다는 식이면 어느정도 얼추 맞지않을까 싶은데. 생각해보니 다른거보다 카드의 기능적인 측면을 전부 ai가 감지하도록 카테고리로 만들어야하네. 뭐 이런건 결국 본인 알고리즘 구성능력이 실력임

[익명(117.111)]

ㅇㅋ, 일단 각 행동 우선순위를 첫 판단 요건으로 두고 짜봐야겠다 - dc App

[망치숭이(malletmonkey)]

카드게임 디자이너들은 실제로 너가 한거처럼 카드에 점수를 부여하고 게임을 디자인하긴하는데 (그러면서 불균형의 균형을 맞춰가며 메타를 설계하게됨) 당장은 큰 덩어리부터 조금씩 잡아가는게 맞지않나 생각됨. 너 말대로 카드하나하나에 밸류를 지정해주고 그러는건 너무 오래걸려. 뭐 덱마다 행동에있어 우선순위를 지정해주면 그에 따라 움직이긴하겠지만 진짜 번거롭겠다..

[익명(117.111)]

머신러닝 ㄱ

[만복(kjh285)]

로제타스톤이라고 강화학습으로 하스스톤 AI 만드는 프로젝트 있는데 참고해봐

[익명(117.111)]

참고해볼게, 고마워 - dc App

[익명(223.38)]

ai전용 카드나 능력 강하게 만들어서 하는게 제일 편함 그런거 아니고 유저 만족시킬만하게 만드려면 머신러닝으로 가야함

[익명(117.111)]

머신러닝 잘못하면 알파고랑 싸우는 바둑 초짜될 수도 있겠다. 머신러닝하되 강화학습 말고 인간이랑 비슷하게 따라하는 쪽으로 해야겠네

[dd(221.154)]

꼭 ai가 플레이어와 동일한 조건에서 플레이할 필요가 없음. 눈에 보이지 않아도 확률 사기(?)를 치는식으로 ai에게 유리한 조건을 만들어도 플레이할때 재밌게만 느끼면 상관없다고 생각함

[익명(117.111)]

아 이건 난이도 조절할때 참고할게 고마워! - dc App

[익명(223.62)]

잘하는 ai 만들고 거기에서 깎아나가는게 일단 기본이긴함 - dc App