[📜일지] 캐릭터가 움직이는 리듬게임에서 FMOD와 일시 정지 문제

[일상일상(scroll0957)]

안녕하세요.
어제 작업 중 하나를 마친 김에, 잠깐 짬을 내서 개발 일지를 작성합니다.

* 글재주가 없어서 일단 작성한 글을 gpt한테 갈무리 부탁했습니다.

게임에서의 일시 정지

대부분의 PC 게임에는 "일시 정지(Pause)" 기능이 있습니다.

잘 알려진 기능이지만, 간단히 말하면 게임의 모든 진행을 멈추고 현재 상태를 그대로 유지하는 기능입니다.

Unity + FMOD 환경에서 발생한 일시 정지 문제

현재 리듬 게임을 개발 중이며, 오디오 재생 시스템으로 Unity 내장 오디오 대신 FMOD를 사용하고 있습니다.
FMOD를 사용하는 주된 이유는 다음과 같습니다:

• Unity 오디오 시스템에 비해 지연 시간이 훨씬 짧다.

• Unity 기본 오디오는 재생 중 끊김 현상이 발생하기 쉬워, 정밀한 타이밍이 중요한 리듬 게임에서는 부적합하다.

• FMOD는 인디 개발자의 경우 일정 수익 이하일 때 무료로 사용할 수 있다는 장점도 있다.

하지만 FMOD는 Unity 외부의 미들웨어이기 때문에, Unity와 완전히 동일한 타이밍으로 동작하지는 않습니다.
그로 인해 ‘일시 정지 → 해제’ 시점에 오디오 재생 상태와 캐릭터 움직임 사이에 미세한 싱크 오차가 발생하는 문제가 생겼습니다.

문제의 구체적인 원인 분석

FMOD의 이벤트 인스턴스에서는 GetTimelinePosition()을 통해 현재 음원의 재생 시간을 알 수 있습니다.
이 이벤트는 FMOD Studio에서 사전 정의한 객체로, 하나의 이벤트에는 여러 음원이 포함될 수 있으며, 이펙터나 보정도 포함됩니다.
(참고로, 음원 파일 수정이 금지된 라이선스를 사용하는 경우에도 이벤트 내에서 재생 타이밍 조정만으로 효과를 줄 수 있어 유용합니다.)

일시 정지가 발생하면, Unity에서는 Pause 플래그를 true로 설정하고, 게임 로직의 대부분이 멈추도록 처리합니다.
이와 동시에 FMOD 이벤트 인스턴스에도 pause(true)를 호출하여 재생을 멈춥니다.

하지만 여기서 문제가 생깁니다.

Unity의 캐릭터 움직임은 보통 Update()나 LateUpdate()에서 Time.deltaTime을 기준으로 처리되며, 이는 프레임 기반으로 동작합니다.
반면 FMOD는 오디오 전용 쓰레드에서 오디오를 처리하기 때문에, pause() 호출 시점이 Unity의 프레임 타이밍과 미세하게 어긋날 수 있습니다.

즉, 일시 정지를 누른 그 순간, Unity와 FMOD 간에 서로 다른 시점에서 정지하게 되어, 해제 시 싱크 오차가 발생합니다.

싱크 보정의 한계

“그냥 일시 정지 해제 시 보정하면 되는 것 아닌가요?”라는 의문이 들 수 있습니다.
하지만 이 게임은 음원의 재생 시간에 맞춰 캐릭터가 정확히 움직이는 구조이기 때문에, 단순 보정은 문제가 됩니다.

예를 들어 playTime 변수를 FMOD의 재생 시간에 맞춰 보정한다면, 이 값에 따라 이동하는 캐릭터도 갑자기 순간이동하게 됩니다.
반대로 캐릭터 위치를 유지한 채 FMOD 재생 시간을 억지로 맞추면, 위에 언급한 오차 문제로 오디오 싱크가 어긋나게 됩니다.
(참고로 FMOD 이벤트에 setTimelinePosition()을 호출하더라도, 일시 정지 상태에서는 적용이 지연되거나 무시되는 경우가 있어, 타이밍 보정이 어렵습니다.)

해결 방법: 절대 시간 기반의 타이머 사용

이 문제를 해결하기 위해서는 Unity와 FMOD 양쪽 모두에서 사용할 수 있는 정확한 절대 시간 기준이 필요합니다.
또한 이 시간 값은 프레임 단위 오차 없이 업데이트되어야 하며, 일시 정지 중에는 정지 상태를 유지해야 합니다.

이를 위해 아래와 같은 클래스를 작성했습니다.
처음에는 Unity의 AudioSettings.dspTime을 사용할 생각이었지만, FMOD를 사용하기 위해 Unity 오디오 시스템을 비활성화했기 때문에 대신 Time.realtimeSinceStartupAsDouble을 사용했습니다.
(변수명에 dsp가 남아있지만, 실제로는 DSP 시간과는 무관합니다.)

구현한 정밀 타이머 클래스

using UnityEngine;

public class DspTimeManager : MonoBehaviour

{

    private float dspTime = 0f; // DSP 타이머 누적 시간 (isRunning일 때만 증가)

    private double lastUpdateRealTime; // 마지막 업데이트 시점의 실제 시간

    private bool isRunning = false; // DSP 타이머 실행 상태

    void Update()

    {

        // isRunning 상태일 때만 시간 누적

        if (isRunning)

        {

            double currentRealTime = Time.realtimeSinceStartupAsDouble;

            float deltaTime = (float)(currentRealTime - lastUpdateRealTime);

            dspTime += deltaTime;

            lastUpdateRealTime = currentRealTime;

        }

    }

    /// <summary>

    /// DSP 타이머를 시작합니다. 0부터 시작합니다.

    /// </summary>

    public void TimerStart()

    {

        dspTime = 0f;

        lastUpdateRealTime = Time.realtimeSinceStartupAsDouble;

        isRunning = true;

    }

    /// <summary>

    /// DSP 타이머를 일시정지합니다. 시간 누적을 멈춥니다.

    /// </summary>

    public void Pause()

    {

        if (isRunning)

        {

            isRunning = false;

        }

    }

    /// <summary>

    /// DSP 타이머를 일시정지에서 재개합니다. 시간 누적을 다시 시작합니다.

    /// </summary>

    public void Resume()

    {

        if (!isRunning)

        {

            lastUpdateRealTime = Time.realtimeSinceStartupAsDouble;

            isRunning = true;

        }

    }

    /// <summary>

    /// DSP 타이머를 정지하고 0으로 초기화합니다.

    /// </summary>

    public void Stop()

    {

        dspTime = 0f;

        isRunning = false;

    }

    /// <summary>

    /// DSP 타이머를 임의의 시간으로 설정합니다.

    /// </summary>

    /// <param name="time">설정할 시간 (초)</param>

    public void SetTime(float time)

    {

        dspTime = time;

        // 실행 중일 때는 lastUpdateRealTime을 현재 시간으로 리셋

        if (isRunning)

        {

            lastUpdateRealTime = Time.realtimeSinceStartupAsDouble;

        }

    }

    /// <summary>

    /// 현재 DSP 타이머의 시간을 반환합니다.

    /// </summary>

    /// <returns>현재 DSP 누적 시간 (초)</returns>

    public float GetTime()

    {

        return dspTime;

    }

    /// <summary>

    /// DSP 타이머가 실행 중인지 확인합니다.

    /// </summary>

    /// <returns>실행 중이면 true, 아니면 false</returns>

    public bool IsRunning()

    {

        return isRunning;

    }

}

적용 및 효과

이 타이머 클래스를 도입하여 기존에 Time.deltaTime을 사용하던 게임 타이밍 시스템을 대체했습니다.
타이머는 여전히 매 프레임 업데이트되지만, 내부 시간 계산은 프레임 레이트와 무관하게 동작합니다.
이를 통해 다음과 같은 개선 효과를 얻었습니다:

• Unity와 FMOD 간의 일시 정지 및 해제 타이밍 차이를 줄일 수 있음

• DeltaTime 기반의 시간 계산 불안정성을 해소

• 타이머를 클래스로 분리했기 때문에, 필요 시 다중 인스턴스 생성 가능

결과적으로, 일시 정지 후에도 오디오와 캐릭터의 움직임 간의 싱크가 자연스럽게 유지되며, 리듬 게임에서 중요한 정밀 타이밍이 유지됩니다.

이제 일시정지를 해제해도 싱크가 어긋나지 않습니다. (매우 미세한 수준의 오차가 있을 수는 있지만 허용 범위!)

[211214(tomatoss)]

일시정지 할게 -> 플레이어 : 난 준비 끝 (0.01ms) 오디오 : 나도 준비 끝 (0.03ms) ㅇㅋ 일시정지 한다 (0.0326ms, 2프레임) 이러면 되지 않남??

[일상일상(scroll0957)]

정확한 원인은 파악 못했는데 그 방식으로 해봤는데도 오차가 발생했음ㅠ,ㅠ 진짜 모르겠어서 무식한 방법도 여러가지 써봤는데 deltaTime 쓰는 동안에는 결국 캐릭터가 튀어나가는 문제는 계속 발생했음 기존에 캐릭터 움직일 때는 deltaTime썼으니까 게임 중간에 주기적으로 오차 보정하도록 해줬는데, 일시정지는 멈췄다 움직이는 거라서 더 눈에 잘 띄었음

[211214(tomatoss)]

[일상일상(scroll0957)]

@211214 내 추측으로는, 결국 플레이어 캐릭터의 모노비헤비어가 움직이기 시작하는 건 다음 프레임부터 시작되고(+deltaTime이 다음 프레임부터 계산됨) 오디오 재생 재개는 pause(false) 호출 즉시 fmod 별도 스레드에서 시작하는거라 프레임을 기다리지 않으니까 오차가 생기는게 아닐까? 싶기도 하고..

[익명(outside0930)]

[불타는키보드(1bnmaker)]

[Newtype(lzciqrlve0jy)]

요즘 키보드 다 8000hz씩 하는 고 풀링레이트 지원하는데 그거 구현 하셨나요? 하셨다면 어떻게 구현하셨는지 여쪄봐도 되나요? 저는 찾아봐도 잘 모르겠어서요 - dc App

[일상일상(scroll0957)]

아직 안해서 잘 몰루... 그냥 계획은 로우 인풋이나 이벤트 기반으로 변경할까 생각중. 현재는 그냥 평범하게 유니티 인풋 시스템 쓰고 있습니다.

[Newtype(lzciqrlve0jy)]

[비월(lunar1228)]