[💬] 마케팅 가이: 얼리 액세스 성공률 예측

[익명(medal3029)]

얼리 액세스 성공률 예측

by 크리스 주코프스키

제가 발견한 바에 따르면,

어떤 게임들의 경우 그냥 정식 출시를 하는 것보다

얼리 액세스로 먼저 출시한 뒤 정식 버전(1.0)으로 전환하는 것이

실제로 더 나은 결과를 보여주었습니다.

수치를 살펴보고 해당 분석글을 작성한 후,

얼리 액세스에 대한 제 새로운 관점은

'하이 리스크, 하이 리턴'이라는 것입니다.

여기서 리스크란,

게임을 출시했는데 반응이 좋지 않을 경우

마치 목에 납덩이를 매단 것처럼

꼼짝 못 하게 된다는 점입니다.

팬들은 끊임없이 업데이트를 요구할 것이고,

여러분은 저조한 판매량으로

과연 이 게임을 완성할 여력이 있는지 고민하게 될 것입니다.

회수할 수도 없는 돈을 쓰며 버텨서 팬들에게 미움만 살지,

아니면 그냥 손을 털고

게임을 포기할지 결정해야 하는 상황이 올 수도 있죠.

오늘 블로그에서는 다음 질문에 대해 답해보고자 합니다.

“얼리 액세스 출시 성적을 바탕으로, 정식 출시 때는 어떤 결과를 기대할 수 있을까?”

방법론

이번 분석에는 훌륭한 API를 제공하는 VG Insights의 게임 데이터를 사용했습니다.

얼리 액세스(EA)와 정식 출시(1.0)를 모두 진행한 모든 게임을 대상으로,

EA 출시 1달 후와

1.0 출시 1달 후의

리뷰 수를 표본으로 삼았습니다.

'1달'이라는 기간에 특별한 마법이 있는 건 아니지만, 판단하기 좋은 표준적인 날짜입니다.

1달이면 출시 할인이 끝나고,

맞춤 대기열(Discovery Queue) 노출도 끝나며,

게임이 '신규 및 인기(New & Trending)' 위젯(1.0 게임만 해당)에서도 내려가기 때문이죠

시각적으로 보여드리기 위해 무작위로 고른 게임(Revita)의 리뷰 기록을 가져왔습니다.

회색 막대로 표시된 것처럼,

첫 달 이후에는 리뷰 급증세가 보통 평탄해지는 것을 볼 수 있습니다.

또한 저는 설문조사를 생성하여

정식 1.0 출시를 진행한 개발자 13명에게 응답을 받았습니다.

통계적으로 유의미한 숫자는 아니지만,

다양한 게임을 살펴보며 리뷰와 판매량의 상관관계를 파악하는 데 도움이 되었습니다

이 조사에서는 모든 EA 게임을 시작으로

여러 기준을 적용해 필터링했습니다.

• 2014년 이후 최소한 EA로라도 출시된 모든 게임 (8,910개)
• 그중 1.0 정식 버전을 출시한 게임으로 필터링 (3,857개 남음)
• EA 기간 동안 리뷰가 0개였거나, 정식 출시 때까지 리뷰가 10개 미만인 게임 제외 (2,313개 남음)

결과적으로 2,313개의 게임을 분석했습니다.

EA에 대한 박스라이터(Boxleiter) 문제

대부분의 게임 판매량을 추정할 때,

리뷰 수에 30을 곱하는 방식(박스라이터 방식)을 사용합니다.

보통은 게임이 얼마나 팔렸는지

대략적인 감을 잡는 데 꽤 유용합니다.

하지만 판매량 수치를 제공해 준 13개 게임을 살펴봤을 때,

많은 게이머가 1.0 정식 출시 때까지

리뷰 작성을 미룬다는 점을 발견했습니다.

조사한 대부분의 게임이

EA 첫 달에는 많은 판매량을 기록했지만

상대적으로 리뷰는 적었습니다.

반면 1.0 출시 때는 EA 때보다

판매량은 적었지만 리뷰는 더 많이 달렸습니다.

평균적으로 1.0 출시 기간의 '리뷰당 판매량 비율'은

EA 출시 때보다 10.3포인트 낮았습니다.

즉, 상당수의 EA 구매자가 1.0 출시가 되어서야 게임 리뷰를 남긴다는 것입니다.

이러한 불일치 때문에

EA와 1.0 시점의 수익을 정확히 계산하기가 훨씬 불투명해졌죠

따라서 이번 블로그에서는 리뷰 수만을 기준으로 이야기하겠습니다.

얼리 액세스 출시와 정식 1.0 출시의 상관관계

분석을 시작하기 전,

저는 EA 출시 성적을 보면

정식 출시가 어떻게 될지 꽤 잘 알 수 있을 거라는 예감이 들었습니다.

VGInsights 데이터를 스크래핑한 후 계산해 보았죠

EA 첫 달에 얻은 리뷰 수와

정식 출시 때 얻은 리뷰 수를 비교했을 때,

상관계수(correlation coefficient)는 0.75였습니다.

이 계수는 1.0이면 완벽한 인과관계,

0.0이면 단순한 무작위 노이즈를 의미하는데요

0.75는 매우 강력한 상관관계라는 소리죠

이건 이 관계를 보여주는 도표이구요

(각 'X' 표시는 하나의 게임을 나타냅니다.)

정식 출시를 하면 성적이 얼마나 좋아질까?

이것은 얼리 액세스 출시를 마친 모든

개발자가 저에게 물어보는 질문이기도 해요

출시 후 성적을 예측하는 좋은 방법은,

기본적으로 EA 출시 리뷰 수에

특정 상수를 곱해서 1.0 때의 결과를 예측해 보는 것입니다.

얼리 액세스 리뷰 수 대비

1.0 정식 출시 리뷰 수가

몇 배나 더 늘어나는지는 다음과 같습니다.

• 평균(Average): 3.78배
• 하위 30% (30th Percentile): 0.76배 (오히려 줄어듦)
• 중앙값(Median): 1.4배
• 상위 70% (70th Percentile): 2.5배

다음은 얼리 액세스 출시에 비해

얼마나 더 많은 리뷰를 얻었는지 분포를 보여주는 그래프입니다

단 109개의 게임만이

리뷰 수 10배 이상의 증가를 기록했습니다.

40배 이상의 증가를 기록한 게임은 단 5개뿐입니다.

목록은 다음과 같습니다.

EA 출시가 엉망이었어도 게임이 성공할 수 있을까?

제가 스팀에서 성공했다고 보는 일반적인 기준은 리뷰 1,000개입니다.

많은 게임을 살펴본 결과, 리뷰 1,000개(무료 게임 포함)에 도달하려면

스팀 알고리즘이 다양한 추천 위젯에 게임을 노출시켜 '부스트'를 해줘야만 하죠

리뷰가 1,000개 이상인 게임은 알고리즘의 축복을 받아

여기저기 노출되고 있는 상태입니다.

모든 게임을 살펴본 결과,

EA 출시 때 리뷰 10개 미만이었다가

1.0 출시 때 1,000개 이상의 리뷰를 달성한 게임은

딱 1개뿐이었습니다.

단 1개요!

그 게임은 'Prop And Seek'라는 무료(F2P) 멀티플레이 게임으로,

2023년 기준으로 4,606개의 리뷰가 달렸고요.

평균적으로,

1.0 출시 때 리뷰 1,000개 이상을 달성한 게임들은

EA 첫 달에 407개의 리뷰를 받았습니다.

그래도 대반전의 사례가 있지 않을까?

스팀 알고리즘이 "이 게임은 잘 될 거야"라고 판단하면

엄청난 지원을 쏟아붓기 때문에,

판매량과 리뷰 그래프가 급상승을 그리며

작은 성공 사례들을 가려버리곤 합니다.

예를 들어 'Mount & Blade II'는

EA 출시 때 100,636개 리뷰에서

1.0 출시 때 203,621개로 늘었습니다.

두 출시 간에 엄청난 증가가 있었지만,

이 게임은 처음부터 대히트작이었습니다.

그럼 소소한 성공 사례는 어떨까요?

데이터를 뒤져서 EA 첫 달 수치 대비 리뷰 수가 가장 크게 개선된 상위 4개 게임을 찾았습니다.

이들에게서 한 가지 눈에 띄는 점은

이 게임들이 얼리 액세스 기간이 매우 길었다는 것입니다.

이것이 정답일까요?

한번 살펴봅시다.

존버가 답인건가?

이것은 EA에서 가장 중요한 질문이죠

바로 기회비용에 관한 질문이자,

컴퓨터 과학의 '정지 문제(일반화된 방법은 없다는 뜻)'와도 같습니다.

게임을 영원히 업데이트하는 게 나을까요,

아니면 마무리 짓고

더 잘 될 수도 있는 두 번째 게임을 만드는 게 나을까요?

기본적인 질문은 이겁니다.

"얼리 액세스 기간(일수)과 EA 출시 대비 1.0 출시 리뷰 증가량 사이에 상관관계가 있는가?"

EA 기간과 리뷰 증가량 사이의 상관계수는 0.141입니다.

이는 아주 미미한 상관관계를 의미합니다.

다음은 모든 게임의 리뷰 증가량과 EA 기간을 나타낸 산점도입니다.

우리가 알다시피 상관관계가 인과관계를 의미하진 않습니다.

제 생각에 인과관계를 만드는 변수는 '긍정적인 판매량'입니다.

리뷰(및 판매량)가 꾸준히 증가하는 게임들은

개발을 더 오래 지속할 수 있습니다.

판매가 안 되면 개발자들은 그냥 정식 출시를 해버리고 떠나죠

이를 바탕으로 한 저의 추천은 다음과 같습니다.

개발 기간을 늘린다고 해서 결과의 흐름이 크게 바뀌진 않습니다.

갑자기 상황이 반전되는 '티핑 포인트' 같은 건 보이지 않는거죠

따라서 패치를 하고 게임을 개선해도 판매량이 나아지지 않는다면,

이제 다음 단계로 넘어갈 때일 겁니다.

만약 게임 만드는 게 즐겁고

생활을 유지할 만큼 돈이 들어온다면, 물론 계속 운영하셔도 됩니다.

제 이론은, 여러분의 게임이

스팀에서 성공할 수 있는 "마법"을 가졌는지는

아주 빨리 알 수 있다는 것입니다

EA 때 리뷰 점수가 중요할까?

개발자들이 EA를 진행하는 주된 이유 중 하나는

"커뮤니티와 함께 게임을 개선하고 피드백을 받고 싶어서"죠

(사족으로, 저는 이게 얼리 액세스를 하는 이유가 되어서는 안 된다고 생각합니다만 나중에 다른 글에서 다루겠습니다.)

그렇다면 긍정적 리뷰 비율이

1.0 출시 후 1달간의 리뷰 수와 상관관계가 있는지 보면 다음과 같아요

상관계수: 0.0659

이게 의미하는건 정말, 매우 약한 상관관계라는겁니다

기본적으로 게임이 얼마나 긍정적인 평가를 받느냐는

리뷰 수(즉, 판매량)에 거의 아무런 영향을 미치지 않는다는 뜻이에요

(물론 말도 안 되는 소리 같죠.

왜 그런지에 대한 몇 가지 이론이 있지만,

이 글이 너무 길어지고 있으니 나중으로 미루겠습니다.)

이 모든 것들이 의미하는것은?

여러 요인과 데이터를 살펴본 후,

제 직감이 말하는 바는 다음과 같습니다...

(주의사항: 이것은 제 개인적인 의견이며, 데이터로 100% 증명되지 않은 논리적 비약을 포함하고 있습니다.)

얼리 액세스 첫 달 후 게임에 일어나는 일은 기본적으로 3가지 시나리오가 있습니다.

시나리오 1: 실패 

이 시나리오에서는 게임이 EA 첫 달에 리뷰 10개 미만을 받습니다.

이 경우 선택은 쉽습니다.

이 게임은 대중과 연결되지 않았으므로,

투입하는 시간과 비용을 대폭 줄여야 하는거죠.

게임을 약간 다듬으세요.

앞으로 두어 달 동안 1~2개의 업데이트만 더 내놓으세요.

고객에게 화내지 말고 최선을 다해 "좋은 개발자"로 남으려 노력한 뒤,

추가 투자 없이 최대한 빨리 1.0 버전을 출시하고 다음으로 넘어가세요.

팬들에게 게임이 잘 안 됐다고 솔직하게 말하고 이동하세요.

게임을 1.0으로 완성하지 않고 유기(abandon)하는 개발자들은

'마무리를 짓지 않는다'는 평판을 얻어 스팀 고객들의 분노를 살 수 있으며,

이는 차기작의 기회를 해칠 수 있습니다.

게임을 버리지는 말되,

EA라는 구덩이에서 빠져나오려고 너무 많은 시간을 쓰지도 마세요.

저는 많은 개발자가 EA가 무엇인지 이해하지도 못하는 것을 보았습니다.

그들은 EA를 일종의 베타 테스트라고 생각하죠.

마케팅 없이 프로토타입을 스팀 얼리 액세스에 툭 던져놓고

"피드백을 받아" 개발을 계속할지,

퍼블리셔를 구할지 결정하려 하는 거 말이에요

EA는 그렇게 작동하지 않습니다.

EA 출시는 곧 여러분의 정식 출시(launch)입니다.

전체 마케팅을 쏟아부어야 합니다.

출시 전 위시리스트를 7,000개를 모아야 합니다.

트레일러를 만들고 페스티벌에 참가해야 합니다.

퍼블리셔와 계약하고 싶다면,

이미 게임이 판매 중인 상태에서는 그들이 거들떠보지도 않을 거고요

그들은 수익의 대부분이 발생하는 EA 출시 시점에 함께하고 싶어 하니까요.

EA를 거의 완성된 게임의 정식 출시처럼 대하세요.

만약 게임에 완전히 투자할지 말지 결정하기 위해 "피드백"을 받고 싶다면, itch.io에 무료 데모를 올리거나

스팀에서 출시 예정 상태일 때 플레이테스트 기능을 활용하세요.

밸브(Valve)가 이 메시지를 더 크게 알렸으면 좋겠네요

EA를 단순히 "간 보기" 용도로 생각하는 개발자들을 너무 많이 봤습니다.

분명히 말씀드리지만,

EA 출시를 망쳐서 리뷰 10개 미만을 받았다면, 그 게임은 끝난 겁니다.

그 구덩이에서 기어 올라올 수는 없습니다.

시나리오 2: 성공 

게임이 EA 첫 달에 리뷰 200개 이상을 받았습니다.

제 생각에 이 게임은 "진짜 스팀(스팀 알고리즘의 수혜를 받는 지점)"에 진입하여

스팀 알고리즘의 지원을 받아 판매량을 더욱 늘릴 수 있는 좋은 궤도에 올랐습니다.

데이터에 따르면, 1.0 출시 때

마법의 숫자 1,000개 리뷰를 달성한 게임의 80%가

EA 첫 달에 최소 200개의 리뷰를 받았습니다.

반대로 보면, EA 첫 달에 200개 이상의 리뷰를 받은 285개 게임 중

209개 게임이 1.0 출시 때 1,000개 이상의 리뷰를 달성했습니다.

따라서 EA 출시 때 200개 이상의 리뷰를 받은 게임들에게 드리는 추천은,

게임을 계속 업데이트하고, 커뮤니티를 구축하며,

(자금 소진율에 따라) 얼리 액세스 상태를 오랫동안 유지하라는 것입니다.

스팀 알고리즘이 여러분을 지원하고

스팀 곳곳에 게임을 노출해 줄 가능성이 높습니다.

이것이 최상의 시나리오입니다.

시나리오 3: 슬픔의 계곡 

이 시나리오에서 게임은 첫 달에 10개 이상의 리뷰를 받았지만,

제가 보기에 전환점이 되는 110개 리뷰 임계치(threshold)는 넘지 못한 경우입니다.

이때야말로 정말 어려운 결정을 내리고

큰 위험을 감수해야 할 때입니다.

이 시점에서 궤도에 올라 "진짜 스팀"에 진입하기란 매우 어렵거든요

예를 들어 리뷰 65~110개를 받은 151개의 게임 중

단 14개만이 "진짜 스팀"에 진입했습니다.

그래서 저는 이곳을 슬픔의 계곡이라고 부릅니다.

게임이 완전히 실패한 건 아니지만, 히트작도 아닙니다.

이 시나리오의 게임들은 판매를 일으키는 데 있어 종종 고립되곤 하죠

이 단계에서는 스팀이 여러분의 게임을 그렇게 많은 곳에 보여주지 않을 것입니다.

아직 노출 알고리즘에 의존할 수 없어요

따라서 선택은 여러분의 재정 상황에 달려 있습니다.

만약 자금 소진율이 낮아 개발을 지속하는 데 비용이 많이 들지 않고,

마케팅 팀이 스튜디오를 유지할 만큼 충분한 고객을 데려올 수 있다면,

계속 밀고 나가세요.

하지만 1.0 정식 출시 때 상황이 바뀔 거라 기대하며 버티고 있다면,

솔직히 말씀드려서 그런 일은 일어나지 않을 가능성이 높습니다.

이 위치에 있는 게임이 급격히 방향을 틀어 히트작이 되는 경우는 매우 드뭅니다.

따라서 시나리오 1과 비슷하게,

저는 기능(feature)을 축소하고

커뮤니티와 좋은 관계를 유지할 때 게임을 출시하는 방법을 찾겠습니다.

개발 기간을 연장하지 않고 말이죠

'인사이드 스트레이트(포커 용어: 확률 낮은 패)'를 채워

갑자기 히트작이 되길 바라며

추가 자원을 쓰는 매몰 비용 오류(Sunk cost fallacy)의 도박은 하지 않아야 할겁니다

성공할 수도 있습니다.

하지만 그럴 가능성은 희박합니다.

부디 신중하세요.

여기 EA 출시 때 얻은 리뷰 수로 그룹화한 게임들의 그래프가 있습니다.

EA 출시 때 200~300개 범위의 리뷰를 얻은 게임들이

어느 정도 예측 가능성의 고원에 도달한 것처럼 보이죠

이 그래프에 대한 여담:

EA 리뷰 수가 250~290개인 게임들이

210~250개인 게임들보다 성적이 더 나빴던 이유는 무엇일까요?

제 생각에는 표본 크기가 작아서 그런 것 같습니다.

2014년 이후 EA 게임 중

250~290개 리뷰 범위에 속하는 게임은 단 22개뿐이거든요

이 범위에는 편차가 매우 클수밖에 없죠

원문:

Estimating Early Access success – How To Market A Game

https://howtomarketagame.com/2023/08/21/estimating-early-access-success/

-------------

[불타는키보드(1bnmaker)]

[비월(lunar1228)]

[bowmore(qcs5jom3x9tq)]

[익명(59.21)]

좋네

[211214(tomatoss)]