[💬] 슬레이 더 스파이어: 유저 데이터 수집의 중요성

[익명(medal3029)]

https://youtu.be/7rqfbvnO_H0

제 이름은 앤서니 지오반네티(Anthony Giovannetti)이고, 저는 Mega Crit Games의 공동 창립자 두 사람 중 한 명입니다.

Slay the Spire는 저희의 첫 번째 상업용 게임이지만,

대학 시절에는 공동 창립자인 케이시(Casey)와 함께 두 개의 작은 취미 수준 프로젝트를 진행한 적이 있습니다.

그 프로젝트들을 통해 “게임 개발에서 무엇을 하지 말아야 하는가”에 대해 정말 많은 것을 배웠습니다.

무엇보다도 알아두셔야 할 점은, 제가 카드 게임의 엄청난 팬이라는 사실입니다.

저는 어릴 적 포켓몬 카드와 매직 더 개더링을 하며 자랐고,

나중에는 Netrunner라는 카드 게임에 너무 빠져들어서 그 팬사이트를 직접 만들 정도였습니다.

게다가 한때는 보드게임과 카드게임 전문 매장을 운영하기도 했습니다.

즉, 저는 카드 게임을 정말 진심으로 사랑합니다.

그래서 결국, “그렇다면 내가 직접 하나 만들어보자”라는 결심을 하게 되었죠.

그 결과 만들어진 게임이 바로 Slay the Spire입니다.

오늘 이 강연에서는 Slay the Spire의 “밸런스 설계”에 초점을 맞춰 이야기하려고 합니다.

저희가 밸런스를 어떻게 생각했는지,

어떤 도구들을 사용했는지,

그리고 전반적인 디자인 접근 방식을 말씀드리겠습니다.

게임 디자인에 대해 이야기할 때는, 저는 항상 피카소의 가장 유명한 그림 중 하나로부터 시작하는 것을 좋아합니다.

솔직히 저는 미술에 큰 조예가 있는 사람은 아니지만, 이 그림에는 정말 흥미로운 점이 몇 가지 있습니다.

우선, 이 작품은 매우 유명합니다.

20세기를 다루는 미술 교과서의 95% 이상에 실릴 정도로 상징적인 작품이죠.

하지만 제가 특히 흥미를 느끼는 부분은 그림이 완성된 과정입니다.

피카소는 이 작품을 완성하는 데 약 1년을 쏟았고,

그 과정에서 무려 500장 이상의 준비 스케치(preparatory drawings)를 남겼습니다.

많은 사람들은 회화를 좀 더 즉흥적인 예술로 생각하곤 합니다.

이를테면 밥 로스처럼, “행복한 작은 사고(happy little accidents)”를 캔버스 위에서 즉석에서 만들어내는 식으로 말이죠.

하지만 이 작품은 그와는 완전히 다릅니다.

이건 끊임없는 반복(iteration)의 산물이었습니다.

피카소는 500번째 스케치를 거치면서

자신이 원하는 최종 형태를 정확히 파악하고, 완벽하게 다듬어 나갔습니다.

이 과정이 바로 제가 게임 디자인을 바라보는 방식입니다.

반복(iteration)과 테스트(testing)가 곧 핵심입니다.

좋습니다. 반복과 테스트가 중요하다는 건 누구나 아는 사실입니다.

그렇다면 좋은 반복 주기를 만들기 위해서는 구체적으로 무엇을 해야 할까요?

그리고 그 과정에서 어떤 어려움이 있을까요? 특히 저처럼 인디 개발자라면요.

좋은 출발점은, 먼저 자신이 추구하는 목표(goal)를 명확히 정의하는 것입니다.

예를 들어 Slay the Spire의 경우, “밸런스(balance)”란 무엇을 의미할까요?

저희가 생각한 밸런스란 

“모든 카드가 자기만의 자리를 가질 수 있어야 한다.”

는 뜻입니다.

그리고 이 원칙은 단지 카드뿐만 아니라,

유물, 이벤트, 몬스터 같은 게임 내 모든 요소에도 동일하게 적용됩니다.

다만, 여기서 제가 약간 단순화해서 말하고 있다는 점을 알아두셔야 합니다.

“모든 카드가 제 역할을 가진다”는 것은

“모든 카드가 서로 동등해야 한다”는 뜻과는 전혀 다릅니다.

예를 들어, 어떤 카드들은 ‘빌드 중심 카드(build-around-me cards)’가 될 수 있습니다.

이런 카드들은 하나만 덱에 들어가도 전체 전략이나 아키타입을 정의해버릴 정도로 강력하죠.

반대로 어떤 카드들은 ‘스테이플(staple)’ 카드일 수도 있습니다.

즉, 여러 덱에서 두루 쓰이지만, 어떤 특정 덱에서 특별히 눈에 띄는 건 아닌 카드들입니다.

중요한 것은, 모든 카드가 무언가의 역할을 하고 있고, 또 특정한 확률로는 충분히 선택할 만한 가치가 있다는 점입니다.

저는 모든 카드를 똑같이 강하게 만드는, 불가능에 가까운 목표를 추구하지 않습니다.

대신, 훨씬 현실적이고 합리적인 기준을 세우는 것이 목표입니다.

또 하나 제가 피하고 싶었던 것은, 제가 “왜곡 효과(warping effect)”라고 부르는 현상이었습니다.

어떤 카드나 조합이 너무 강력하면서 동시에 너무 쉽게 성립될 수 있다면,

게임은 곧 그 특정한 콤보나 전략만을 중심으로 돌아가게 됩니다.

하지만 Slay the Spire가 궁극적으로 추구한 것은

다양한 전략과 플레이 스타일의 공존이었습니다.

따라서 이런 과도하게 강력한 효과는 반드시 일정한 방식으로 제어할 필요가 있었습니다.

저희가 Slay the Spire를 만들 때에는 두 가지 주요한 이점이 있었습니다.

첫째, 이 게임은 싱글플레이어입니다.

둘째, 로그라이크입니다.

싱글플레이 로그라이크 게임이라는 특성 덕분에,

저희는 하스스톤이나 매직 더 개더링 같은 멀티플레이 게임처럼

“하나의 지배적인 전략(dominant strategy)”을 그리 심각하게 걱정할 필요가 없었습니다.

왜냐하면 Slay the Spire에서는 항상 필요한 카드나 유물을 얻을 수 있는 게 아니기 때문입니다.

심지어 어떤 강력한 콤보를 완성했다 하더라도,

그건 다른 플레이어를 압도하는 게 아니라, 게임 그 자체를 압도하는 것에 불과합니다.

즉, 누군가가 불쾌한 경험을 하게 되는 건 아니라는 뜻이죠.

따라서, 너무 강력한 효과가 존재하더라도 그것이 희귀하고 성립하기 어려운 것이라면,

게임의 밸런스는 여전히 올바르게 작동할 수 있습니다.

예를 들어, Slay the Spire를 플레이해보신 분이라면

지금 화면에 보이는 ‘부패(Corruption)’ 카드와 ‘말라죽은 가지’ 유물의 조합을 아실 겁니다.

‘죽은 가지’는 매우 강력한 희귀 유물로,

카드가 ‘소멸(Exhaust)’될 때마다 새로운 카드를 생성해줍니다.

‘부패’는 바로 이 소멸을 굉장히 쉽게 만들어주는 카드이죠.

이 둘을 함께 사용하면 엄청난 양의 가치를 뽑아낼 수 있으며,

이는 게임 내에서도 손꼽히는 강력한 콤보 중 하나입니다.

하지만 저희 게임은 하스스톤이나 매직 더 개더링처럼 전통적인 경쟁형 카드게임이 아니기 때문에 

즉, 이 콤보가 다른 플레이어의 경험을 해치지 않기 때문에

이런 강력한 시너지가 존재해도 허용 가능한 구조인 것입니다.

더군다나 Slay the Spire에서는 이런 콤보를 매번 덱에 넣고, 매번 같은 방식으로 플레이하는 것이 불가능합니다.

이 콤보를 구성하는 카드나 유물을 한 번도 보지 못할 수도 있고, 혹은 둘 중 하나만 보게 될 수도 있죠.

이렇게 둘 다 엄청 희귀한 요소이고, 플레이어가 의도적으로 찾아야만 조합이 성립되기 때문에

이 콤보를 완성했을 때는 오히려 “정말 강력한 힘을 손에 넣었다”는 보상을 주는 것이 자연스럽습니다.

그래서 이런 설계는 오히려 저희에게 큰 장점이 되었죠.

하지만 이 장점이 있다고 해도, 저희에게는 큰 약점이 하나 있었습니다.

그건 바로, 저희 팀이 너무 작았다는 점입니다.

저희는 단 두 명의 인디 개발자이자 디자이너였고,

그 둘이서 수백 장의 카드와 수많은 다른 콘텐츠의 밸런스를 맞춰야 했습니다.

특히 유물과 카드가 서로 상호작용하면서 만들어내는 복잡한 조합들이 등장하기 시작하면,

그 밸런싱 작업은 사실상 끝이 없는 일처럼 느껴지곤 했습니다.

저는 오랜 카드게임 플레이어로서, 이미 대규모의 숙련된 디자인 팀들이

막대한 자원과 경험을 가지고도 밸런스를 자주 망친다는 사실을 알고 있었습니다.

그렇기 때문에 저희는 밸런스 문제를 가능한 한 초기 단계부터 체계적으로 접근하고,

확장 가능한 방식으로 해결해야 한다고 생각했습니다.

그럼 어떤 도구들을 사용했을까요?

물론 기본적인 방법들도 썼습니다.

플레이어들이 게임을 하는 모습을 관찰하고,

각종 행사에 참여하며,

저희 자신이 비정상적일 정도로 많이 직접 플레이하기도 했습니다.

또한 내부 플레이테스트 그룹도 만들었습니다.

하지만 여기서 멈추지 않고,

플레이테스트 범위와 피드백 수집 능력을 가능한 한 넓히기 위한 체계적인 시도를 했습니다.

그 목적을 위해 몇 가지 구체적인 도구를 도입했는데,

이들이 저희의 작업 효율을 엄청나게 높여주었습니다.

먼저 사용한 도구는 내부 플레이테스터용 슬랙(Slack) 채널이었습니다.

모든 테스터들이 그곳에서 소통하고,

새로운 게임 빌드를 내려받고,

버그나 아이디어를 보고했습니다.

플레이테스터들과 저희 모두에게 최대한 편리하게 만들고 싶었기 때문에,

슬랙에는 봇(bot)을 연결해서 피드백, 버그 리포트, 아이디어 등

모든 정보를 한눈에 확인할 수 있는 한 곳에 자동으로 모이게 했습니다.

저는 개인적으로 “설문지(survey)”를 굉장히 싫어했습니다.

다른 사람의 게임을 테스트 한 적이 있는데

그때 설문지를 채워야 할 때마다 불편했었거든요.

그래서 Slay the Spire에서는 그런 불편한 과정을 완전히 없애기로 했습니다.

그 대신, 피드백을 주는 진입장벽을 최대한 낮추는 것에 집중했습니다.

그 결과, 플레이테스터들은 언제든지 편한 시간에 자유롭게 피드백을 남길 수 있었고,

그 과정이 부담스럽지 않은 자연스러운 경험이 되었습니다.

이런 테스트 방식이 가능했던 이유는,

저희가 매일같이 새로운 빌드를 배포했기 때문입니다.

저희는 슬랙 채널을 통해 매일 새로운 변경사항을 공유했고,

플레이테스터들은 항상 최신 버전의 게임을 테스트할 수 있었습니다.

이 끊임없는 업데이트 흐름

새로운 콘텐츠, 밸런스 조정, 시스템 개편 등 덕분에

플레이어들은 단조로워진 테스트가 아닌,

계속 성장하고 변화하는 게임 경험을 반복적으로 즐길 수 있었던 것입니다.

두 번째로 사용한 도구는 게임의 개발 전반에 걸쳐 절대적으로 핵심적인 역할을 했습니다.

저는 데이터 기반의 사고를 하는 사람이기 때문에,

밸런스에 대한 우리의 가정을 실제로 시험하고 검증할 수 있는 능력을 갖추고 싶었습니다.

이를 위해 저희는 자체적인 메트릭 서버(metric server)를 구축했습니다.

이 서버는 플레이어가 한 번의 런을 마칠 때

즉, 사망하거나 승리할 때마다

익명 데이터를 저희에게 전송하고,

우리는 그것을 수집하여 분석했습니다.

가능한 한 모든 관련 정보를 모았습니다.

적, 카드, 유물, 이벤트, 플레이어의 선택(초반, 중반, 후반의 선택들),

한 번의 런을 완료하는 데 걸린 시간 등등,

생각할 수 있는 모든 데이터를요.

이 시스템은 얼리 액세스 출시 전에 특히 유용했습니다.

왜냐하면 적극적으로 피드백을 주지 않거나,

새 빌드를 조용히 플레이하기만 하는 유저들도 여전히 데이터로 기여하고 있었기 때문입니다.

그들의 발언이 없더라도, 그들의 플레이 데이터는 매우 가치 있었습니다.

그래서 출시 전 모든 런이 유의미했죠.

이것은 ‘수동적 플레이테스트(passive playtesting)’와 ‘능동적 플레이테스트(active playtesting)’의 차이라고 보실 수 있습니다.

컨벤션 같은 이벤트에 나가거나 포커스 그룹을 구성해서

플레이어가 게임을 하는 걸 관찰하는 건 매우 가치 있는 일입니다.

저희도 그렇게 했습니다.

하지만 이런 방식은 ‘능동적’이라 시간과 자원이 많이 들고, 규모를 키우기가 어렵습니다.

반면, 저희의 메트릭 서버는 수동적입니다.

그저 백그라운드에서 데이터를 자동으로 수집하고,

저희는 필요할 때 그 데이터를 분석하여 질문에 답하거나 새로운 아이디어를 얻을 수 있습니다.

이 시스템은 내부 슬랙(Slack)과 연동되어 각 플레이테스터의 기여를 최대한으로 활용할 수 있게 해줬습니다.

저희에게 데이터 지표(metrics)는 정말로 귀중한 도구였습니다.

덕분에 개발 초반부터 훨씬 더 객관적인 의사결정을 할 수 있었죠.

하지만 한 가지 주의할 점이 있습니다.

메트릭은 디자이너의 도구 상자 중 하나일 뿐이며,

다른 방법들과 함께 사용되어야 한다는 점입니다.

데이터는 때때로 거짓말을 합니다.

좋은 예로 Slay the Spire의 카드 ‘광기(Madness)’가 있습니다.

‘광기’는 나쁜 카드가 아닙니다.

하지만 저희가 데이터를 봤을 때, ‘광기’를 가진 덱이 이기는 비율이 지나치게 높게 나타났습니다.

왜 이런 현상이 발생했을까요?

‘광기’가 실제로 게임 내에서 가장 강력한 카드 중 하나였을까요?

아니었습니다.

문제는 대부분의 플레이어가 ‘광기’를 3막 후반부의 이벤트에서,

즉 보스 전 직전에 얻게 된다는 것이었습니다.

이 때문에 카드의 실제 효율보다 승률이 인위적으로 높게 잡힌 것이죠.

결국, 데이터는 굉장히 유용하지만, 그 자체만으로 믿어서는 안 되며,

때때로 우리를 속일 수도 있다는 사실을 잊지 말아야 합니다.

그리고 데이터를 활용하기 전에 반드시 ‘생각’이 선행되어야 한다는 점을 명심해야 합니다.

데이터가 말하는 것이 진짜 무엇인지를 파악하는 건 디자이너인 여러분의 몫입니다.

저희가 초기에 깨달았던 또 하나의 경계해야 할 사례가 있습니다.

당시에는 플레이테스터가 많지 않았는데,

그중에 두 명의 제가 ‘슈퍼 플레이테스터'라고 부를 만한 사람들이 있었습니다.

이들은 게임에 이미 완전히 빠져 있었고,

비정상적으로 많은 시간을 플레이하고 있었죠.

이건 좋은 일이기도 합니다.

초기 테스트 단계에서, 그것도 스틱 피겨 수준의 임시 아트밖에 없는 빌드를

그렇게까지 좋아해 주는 테스터가 있다는 건 언제나 반가운 일입니다.

덕분에 수많은 런 데이터를 얻을 수 있었으니까요.

하지만 문제도 있었습니다.

저희가 모든 데이터를 단순히 평균치로 집계해서 해석하면,

사실상 그 두 사람의 데이터만 반영되는 셈이었죠.

그들은 다른 플레이어들보다 훨씬 많이 플레이했고,

그로 인해 다른 일반적인 유저

예를 들어 경험이 적거나 가끔만 플레이하는 사람들의 데이터가 완전히 묻혀버렸습니다.

이런 종류의 편향은 메트릭 수집 시 반드시 고려되어야 하는 요소입니다.

이러한 도구들을 마련한 뒤, 저희는 2년 반의 개발,

개선, 밸런스 테스트를 거쳐 얼리 액세스를 시작했습니다.

이건 정말로 중요했습니다.

출시 시점에서 이미 매우 균형 잡힌 상태로 게임을 내놓았기 때문입니다.

얼리 액세스 출시는 Slay the Spire에 있어 진정한 전환점이 되었습니다

첫째로, 플레이어 수가 폭발적으로 늘어나면서 메트릭 데이터의 가치가 훨씬 커졌습니다.

그 덕분에 이전에는 놓쳤던 새로운 패턴을 발견할 수 있었죠.

둘째로, 유저층의 실력 범위가 훨씬 넓어졌습니다.

이제는 숙련된 카드게임 팬뿐만 아니라,

카드게임 경험이 거의 없는 사람들의 데이터도 함께 얻을 수 있었던 겁니다.

그리고 얼리 액세스 기간 동안 저희가 새로 도입한 시스템 중 하나가 바로 승천(Ascension) 레벨입니다.

게임 밸런스 설계에서 항상 어려운 점 중 하나가 바로 난이도 조정입니다.

저희는 기본적으로 Slay the Spire를 기본 난이도 기준으로 밸런싱했습니다.

하지만 동시에 점점 더 어려워지는 20단계의 승천 난이도를 추가했죠.

플레이어는 한 단계씩 승천 레벨을 해금해야만 다음 레벨로 올라갈 수 있습니다.

즉, 플레이어의 실력이 향상될수록 자연스럽게 승천 계단을 오르는 구조입니다.

승천 모드는 선택 사항이지만,

도전 과제와 성취감을 제공하기 때문에,

플레이어들은 자신에게 맞는 승천 레벨로 자연스럽게 수렴하게 됩니다.

이 덕분에 저희는 승천 레벨별로 데이터를 세분화할 수 있게 되었고,

이를 통해 플레이어층의 숙련도에 따른 더 정밀한 밸런스 분석이 가능했습니다.

또한 이런 구조 덕분에, 난이도 조정이 단점이 아닌 강점으로 바뀌었습니다.

데이터 분석의 정밀도를 높일 뿐 아니라,

라이트 유저부터 하드코어 플레이어까지

모두에게 맞춤형 밸런스 조정이 가능해졌기 때문입니다.

디스코드, 메트릭 서버, 레딧, 기타 SNS 등 다양한 경로를 통해

플레이어들의 의견을 실시간으로 파악할 수 있었던 것도 큰 도움이 되었습니다.

이런 접근법이 저희에게 좋은 결과를 가져다준 셈이죠.

자, 이제 결론 부분으로 들어가겠습니다.

Slay the Spire 개발 과정에서 저희가 얻은 교훈은 다음과 같습니다.

반복, 또 반복, 그리고 다시 반복하십시오.

변화와 실험이 없으면 좋은 결과에 도달할 수 없습니다.

변화를 두려워하지 마십시오.

최악의 경우라 해봤자, 나중에 활용할 더 많은 정보를 얻게 되는 정도입니다.

결국 변화는 게임을 더 좋게 만드는 방향으로 작용할 것입니다.

자신과 플레이테스터, 그리고 플레이어 사이의 장벽을 낮추십시오.

그래야 가장 질 높은 피드백과 데이터를 얻을 수 있습니다.

가능한 한 자주 업데이트하십시오.

플레이어들은 그걸 좋아할 것이고, 결과적으로 여러분의 게임도 더 나아질 것입니다.

이상으로 제 발표를 마치겠습니다.


---------------------------------

그밖에도 스트리머들과 디스코드의 중요성도 언급함

내부 슬랙 테스트 구조를 수천 명 규모의 디스코드 커뮤니티로 확장해서 좀 더 폭넓게 피드백을 수집했다고 

또한 베타 전용 채널도  분리해서 매일 빌드를 배포하고,

일주일마다 안정화된 버전을 메인 빌드에 통합하는 노력도 들였다고 함 

덱빌딩 게임 개발하시는 분들 많은거같아서 참고되시라고 올려봅니당 

[bowmore(qcs5jom3x9tq)]

근데 결국 메트릭 수집이 가능하다는게 이미 성공한 게임만 가능한거라서... 뭔가뭔가임 본문에서도 얘기하는데 슬더스는 게임이 망가져있는 얼액단계에서도 슈퍼 테스터들이 붙을만큼 이미 충분히 재미있는 게임이었기 때문에 가능했다고 봄

[211214(tomatoss)]

[비월(lunar1228)]

정보추