[📜일지] IAUS는 근본적으로 문제있는 시스템. 개선이 필요

[일본뇌염모기2(mosquitoindie1)]

IAUS의 경우 현재 상황에서 선택 가능한 액션중 가장 평가치가 높은 액션을 고르는 시스템이다.

각각의 액션에는 여러가의 평가 액시스가 존재하고,

액션을 평가할 때, 그 다수의 액시스를 곱해서 평가치를 계산한다.

액시스의 평가치는 0~1로 노말라이즈 되므로,

모든 액시스의 평가치의 곱인 액션의 평가치도 0~1 사이가 된다.

언듯 보면 각각의 액션과 액시스가 독립되어 있고, 추가와 변경이 매우 쉽게 보이지만 실제로 구현해 본 결과

추가와 변경이 매우 골치아프고 귀찮다는것을 알게 되었다.

가장 큰 문제가 되는것은, 액션에 액시스를 추가하면 할수록 액션의 평가치가 내려간다는것.

액시스는 0~1이고, 액션은 모든 액시스의 곱이므로, 액시스가 많아질수록 액션의 평가치는 내려갈 수밖에 없다.

도망간다! 라는 액션은 내 체력이 일정 수치 이하인가? 라는 액시스만을 가지고 있고

공격한다! 라는 액션은 나의 체력, 적의 체력, 공격력 등등 5개정도의 액시스를 가지고 있다고 했을 때,

공격한다! 액션은 모든 액시스의 수치가 0.9가 나와도, 0.9^5 = 0.59 의 수치가 나와버린다.

즉, 도망간다! 같이 액시스가 적은 액션이 압도적으로 유리해진다는 뜻.

이런 상황을 무마하기 위해 액션 가중치 등의 "꼼수" 가 존재하는데,

액션 가중치가 그 액션이 얼마나 중요한지를 나타내는 수단이 아닌

복수의 액시스를 사용하는 액션을 도와주기 위한 수단으로 쓰여지는 점에서 매우 복잡하고 비 효율적인 모델이 되어버린다.

이 문제를 해결하기 위해서 액션별로 가지고 있는 액시스의 수를 비슷하게 맞추는 것도 생각해 볼 수 있다.

위의 예를 생각해보면, 도망간다! 액션에 항상 0.9를 리턴하는 더미 액시스를 4개 추가하는것이다.

아니면 액션 가중치로 조절하거나.

그런데 이런 궁리를 시작하고 있다는 것 자체가 이 모델이 얼마나 디자인하기 귀찮은 시스템인지 알 수 있다고 생각한다.

결국 IAUS의 장점이라고 선전되었던

1. 자유롭게 액션을 디자인

2. 무한히 설정 가능한 액시스

이 두가지가 전부 거짓말이 아니었을까.

액션은 서로 비슷한 액시스를 가질 수 있는 단위로 디자인되어야 하고

액시스 설정도 서로 비슷한 액시스 수로 맞춰야 한다.

게다가 액션별로 액시스를 공유하기 시작한다면? 지옥의 시작이 아닐까

또 다른 활용 방법으로는, 어떠한 상황에서 선택지가 명확하게 나뉘는 AI 경우는 사용 가능할지도

예를 들어서 장작을 팬다, 나무를 줍는다 등등.

하지만 내가 구현하고 있는 롤 같은 파티 플레이 게임에서의 동료 AI로서는 매우 부족하지 않을까...

제발 내가 잘못 이해하고 있고, 사실은 IAUS가 매우 훌륭한 시스템이었기를 빈다.

이거 만드는데 2주 이상 걸렸는데

-----------------------------------------------------------------------

기록을 위해 추가작성

현재의 IAUS의 문제점은, 액션과 액시스의 추가가 기존의 액션 액시스에 크게 영향을 미친다는것에 있다.

그 근본적인 원인은 아래와 같다.

1. 액시스간의 의존성

2. 액션간의 의존성

3. 액시스의 숫자가 증가하면 약해지는 액션

1. 액시스간의 의존성은 왜 일어나는가?

IAUS는 인풋 데이터를 0~1 사이로 가공해서 액시스에 넘겨준다.

액시스는 자신만의 평가함수를 가지고 있어서, 아웃풋으로 0~1 을 도출한다.

인풋 -> 액시스 -> 아웃풋

언듯 보기에 문제가 없어 보이지만, 액션의 평가함수 계산이 액션에 속한 모든 액시스의 아웃풋을 그냥 쌩으로 곱해버린다는것이 문제.

액시스의 아웃풋을 생으로 곱해버리는것으로 인해, 하나의 액시스의 평가치가 다른 액시스에 비해 얼마나 큰가? 라는 액시스간의 상대평가가 생겨버린다.

즉, 액시스간의 독립성이 보증되지 않는다는것.

2. 액션간의 의존성은 왜 일어나는가?

가장 알기쉽게 의존성이 일어나는 경우는 서로 다른 액션이 같은 액시스를 공유할 경우이다.

이 경우, 하나의 액시스를 변경하는 것으로 복수의 액션에 영향을 미치게 된다. 액션간의 독립성이 회손되었다는것.

더 간접적인 의존성은 1 액시스간의 의존성 때문에 일어난다.

결국 모든 액시스가 의존성이 발생하고 있기 때문에, 그것을 기반으로 한 액션들도 의존성이 생겨버린다는것.

3. 액시스의 숫자가 증가하면 약해지는 액션

액션의 평가치가 액시스의 곱이라는 것에서 나타나는 부작용.

액시스를 5개 가지고 있는 액션의 경우, 5개 전부의 액시스가 0.9의 매우 높은 평가치가 나왔다 해도 결국 액션 평가치는 0.9의 5제곱, 0.6이 되어버린다.

액션을 행하야 한다 라는 액시스의 숫자가 늘어나면 늘어날수록, 액션을 행하지 말아야 한다라는 결론이 나온다는것.

즉, 어느 액션에 액시스를 추가하는 것 만으로 그 액션의 평가치를 낮추는 행위라고 볼 수 있다.

액션과 액시스의 독립성이 보장이 안된다는거.

위의 3개자 이유로 인해, IAUS는 매우 디자인하기 번거로운 시스템이라고 생각한다.

--------------------------------------------------------------------------

이 시스템을 개선하기 위해서는 무엇을 해야 하는가.

액시스와 액션의 의존성을 없애고, 각각의 액시스 액션의 독립성을 확립 할 수 있다면...

IAUS를 효율적인 시스템으로 바꾸기 위해 달성해야 할 목표는 아래와 같다.

1. 액시스간에 완벽한 독립성 보장

-> 액시스에서 나오는 아웃풋은 다른 액시스와 전혀 관계가 없어야 한다.

예를 들어서 나의 공격력 액시스에서 0.5 수치가 나왔고, 나의 체력 액시스에서 1 수치가 나왔다고 했을 때,

이 0.5와 1의 숫자는 서로 아무런 연관이 없다.

현재는 1쪽이 더 중요한 액시스라는 의미를 갖는다. 그것을 해결해야 한다.

액시스의 추가와 변경은 다른 액시스에게 전혀 영향이 없어야 한다.

2. 액션간의 완벽한 독립성 보장.

-> 두개의 다른 액션이 하나의 같은 액시스를 공유한다고 해도, 각각의 액션은 서로 전혀 관계가 없어야 한다.

액션의 추가와 변경은 기존의 액션에 전혀 영향을 미치지 않아야 한다.

3. 액시스의 숫자와 액션의 평가수치의 독립성 보장.

-> 액시스를 추가 또는 삭제하는 것으로 액션의 평가수치가 변화되어서는 안된다.

액션의 평가수치는 액시스의 수와 완벽히 독립되어야 한다.

이것을 달성하기 위해서 무엇을 해야 하는가.

-----------------------------------------------------------

먼저 액시스와 액션의 의미를 다시 정립해야 한다. 

액션은 AI가 행하는 "행동"을 의미하며, 

액시스는 어떠한 "행동"을 결정하기 위한 "판단재료"이다. 

모든 행동과 판단재료는 완벽히 독립되어야 하며, 판단재료의 추가는 행동의 판단에만 영향을 미쳐야 한다. 

판단재료는 여러 복수의 행동에 추가 될 수 있으나, 그 판단재료의 영향은 액션마다 달라야 한다. 

이것을 수식으로 표현해보자면... 

[Jaygan(jaygan)]

퍼지 로직 써보쉴? 함수형태로 구현가능해서 이식성도 좋음

[소닉쫄따구테일즈(dcz3xv7zgu14)]

나도 느끼고 있던거긴한데, 이부분은 내가 IAUS를 너무 쉽게 생각한게 문제라고 생각하고 있음. 그냥 단순 Axis붙이면 얘내가 알아서 경중따져서 필요한 액션을 수행해줄거라는 근거없는 믿음을 가졌었어. 이게 적위협Axis(적과내거리의비율), 내위험Axis(내최대체력비현재체력)이 둘다 상태에 따라 0과 1사이값을 주는데, 이게 둘중 어느쪽이 더 중요한지는 정규화된 값으료 표현이 되는거잖아. 적위협값이 거리가 가까워짐에 따라 높아지는데, 바로앞이면 0.9, 내체력이 30%면 0.7, 어느게 더 중요할까? 정규값이니까 0.9가 더 우선이겠지. 근데 내가볼땐 내체력이 30%미만이면 이게 더 위급하단말이야. 이건 내가 애초부터 적위협Axis나 내체력Axis를 잘못설계한거임.

[소닉쫄따구테일즈(dcz3xv7zgu14)]

이부분은 내가 Axis에대해 좀더 조심스럽게 설계를 하면 액션끼리 경중을 따지는건 좀 해소가 될거같고, 너가 언급한 Axis가 많을수록 더 낮은값이 나올수밖에 없다는거, 이거도 난 공감을 함. 근데 이것도 그냥 내가 아무생각없이 적위협Axis,내체력Axis 두개 같이 쓰면 뭐라도 될거처럼 막 쓰면 안되는거같어. 적이위협적이 '거나' 내체력이너무낮으면 이라는 의도로 Axis두개를 같이 쓰는걸로 나도 착각을 했는데 사실 곱연산이라 적이위협적 '이고' 내체력이너무낮으면 높은거였음. 이부분은 나도 잘 와닿지가 않아 아직. 내가 완벽하게 이해를 못한거 같아

[일본뇌염모기2(mosquitoindie1)]

내가 "골치아프다" 라고 한게 니가 말한 액시스의 경중따지기도 들어가있음. 결국 액시스 하나 추가 할 때, 어느 기준이 되는 액시스가 존재 하고, 그 기준 액시스에 비해 어느정도 경중을 두느냐? 이 페이스가 들어가야 한다는거. 즉, 액시스 하나 추가하는데 전체 액시스를 다시 훑어야 한다는거. 게다가 액시스의 곱. 이게 과연 "And"인가? 라는것도 의문임. 예를 들어서 적이 위협적 0.9 AND 내 체력 0.9 -> 이렇게 보면 두개의 액시스에서 위협도가 매우 높다! 라는건데 실제는 0.9 x 0.9 -> 0.8 로 떨어지네? 그게 만약 5개 액시스가 90퍼로 위협도! 라고 말하다고 하면, 어? 위협도 0.5로 떨어지네?

[일본뇌염모기2(mosquitoindie1)]

이 액션을 써야한다! 라는 지표가 많으면 많을수록 이 액션은 쓰지 말아야한다! 라는 결과가 나와버리는 시스템이라는거임. 왜 액션 평가치가 액시스의 "곱" 인걸까? 이게 맞나? 라는 의문이 들고, 차라리 평균으로 해야하지 않나? 라는 생각을 하고 있음. 현재 IAUS는 내가 보기에 문제가 많다고 생각함. 액시스 추가 및 공유하는데 전체에게 영향을 미치는것도 그렇고 액시스를 곱하는것도 좀 잘못된게 아닌가... 라고 생각중. 액션의 평가치를 액시스의 평균으로 바꿔보고 그 결과가 어떻게 될지 다시 생각해 보려고. 만일 그래도 디자인 하기 빡세다고 한다면 버리는 수밖에

[일본뇌염모기2(mosquitoindie1)]

아마 액션의 평가수치를 액시스의 곱으로 한것은, 하나라도 액시스가 0에 매우 가까운 수치, 즉 이 액션은 필요가 아예없다! 라는 크리티컬 조건을 내걸었을 경우, 다른 액시스의 평가수치와 관계없이 액션을 캔슬하기 위한 장치라고 생각됨. 평균값으로 곱을 대체할 경우, 어떤 액시스의 평가치가 0이 나와도 다른 액시스가 1일경우 0.5 스코어가 나와버린다는거지. 근데 곱셈만으로 액션수치를 나타내는것은 너무나 표현에 한계가 있다고 생각함. 액시스가 많을수록 액션 평가수치가 자동적으로 낮아진다는게 대표적이지. 이 액시스가 0이면 액션 자체를 캔슬해라! 라는 크리티컬 액시스를 추가 하고 싶었다면 (액시스의 평균) AND (그중 크리티컬 액시스가 0이 아닐것) 이런식으로 해야 하지 않을까

[일본뇌염모기2(mosquitoindie1)]

근데 이렇게 해버리면 액시스에 레벨이 생겨버림. 액션마다 액시스의 레벨 설정이 달라야 한다면? 도망간다 액시스에서 체력은 크리티컬 액시스인데, 공격한다 액시스에서는 노멀 액시스라면? 이런거를 생각해야 하니까 더욱더 복잡해지고 귀찮은 모델로 진1화한다는거. 진짜 이런거 생각하고 튜닝할거였으면, 걍 뉴럴네트워크형 매트릭스 하나 만들어서 정답 상황 만들어놓고 학습시키는게 더 효율적일 가능성이 높음. 대댓이 너무 길어서 미안하다

[소닉쫄따구테일즈(dcz3xv7zgu14)]

ㅇㅇ 나도 사실 그래서 곱이주는 한계점이 있어서, 이게 맞나? 싶다는 생각을 많이했어. 근데 나같은 경우는 일단 이걸로 밀수있는대로 최대한 밀어보려고. 내 게임로직 기반이 ECS에 두고있어서, ECS로 병렬처리 그것도 Deterministic하게 해줄수있는 AI가 지금 UtilityAI밖에 없거든. 실제로 유니티 ECS쪽 포럼에서 ECS에서는 AI어떻게 해결할거냐 하는데, 몇년쨰 그렇다할 해결방안이 없어. 그나마 대안으로 나온게 IAUS임. Axis에대한 계산들을 배열로 그냥 일괄적으로 계산해버리면 빠르거든. 어쨌든 그동안 IAUS에 관해서 같이 이야기할수있어서 좋았음! 힘내시게!

[일본뇌염모기2(mosquitoindie1)]

나도 IAUS 에 대해 이야기 할 수 있는 상대가 있어서 좋았다. 언제나 여러가지 알려주고 공유해줘서 고맙고, 내 문제에 대해서 계속 공유하겠음

[소닉쫄따구테일즈(dcz3xv7zgu14)]