[🐣질문] mlagents Reward가 너무 낮은데 이거 정상임?

[익명(211.54)]

Mean Reward가 값이 너무낮게나옴. 수치를 어캐 바꾸든 계속 0.00x로 나오는데 이거 신경끄고 계속 켜놓으면 학습되는거임?

50만번까지 기다려도 학습안되고 그대론데

behaviors:

    Basic:

        trainer_type: ppo

        hyperparameters:

            batch_size: 1024

            buffer_size: 10240

            learning_rate: 0.0003

            beta: 0.005

            epsilon: 0.2

            lambd: 0.95

            num_epoch: 3

            learning_rate_schedule: linear

        network_settings:

            normalize: false

            hidden_units: 256

            num_layers: 1

            vis_encode_type: simple

        reward_signals:

            extrinsic:

                gamma: 0.99

                strength: 1.0

        keep_checkpoints: 5

        max_steps: 2000000

        time_horizon: 64

        summary_freq: 2000

yaml은 이렇게 만들었고.

지금 만드는건 상하좌우로 움직이는 지렁이게임 만드는중

Mean Reward 수치가 너무작은데 그게 괜찮은지가 궁금함 저게 점점 올라가야하는데 안올라가는건 학습이 안된다는거고 그건 알아서 해결해보겠음.

[ㅇㅇ 1(106.102)]

무슨 예제의 무슨 모델인지 보상모델이 뭔지 안 적혀있는데 그거만 보고 어떻게 알아. 아무튼 학습이 안 되는 것 같은데 원인을 찾아야겠지

[글쓴 ㅇㅇ(211.54)]

예제는 아니고 내가만든거임 yaml에 적혀있는걸 같이올려야됐나 일단 수정함

[ㅇㅇ 1(106.102)]

커스텀이면 아무도 모르지 저 짤을 보고 알 수 있는 정보라면 학습이 일어나지 않고 있는 모델이구나 밖에 없음

[ㅇㅇ 1(106.102)]

스스로 만든 로직이라면 모델이랑 파라매터 스스로 한 번 잘 고쳐보는 방법 말고는 다른 사람 도움 받기 힘듬

[ㅇㅇ 1(106.102)]

파라매터를 보니 싱글 레이어 모델인데 학습하기에는 너무 모델이 작음. 레이어를 3~5개로 늘려야 학습시작이 가능할 것 같다

[글쓴 ㅇㅇ(211.54)]

ㄳㄳ 수정해서 다시해보겠음