1ebec223e0dc2bae61ab96e74683707027f14aff811be72e495f91d83e6c314f0a75213b5c221fe3dc8037ee4bfec63c5d54b65e30



ε-탐욕(Epsilon-Greedy) 알고리즘은 강화학습에서 에이전트가 탐험(exploration)과 활용(exploitation)의 균형을 효과적으로 맞추기 위해 사용하는 간단하면서도 강력한 방법입니다.




탐험과 활용의 균형


ε-탐욕 알고리즘은 강화 학습에서 의사결정의 두 가지 중요한 측면인 탐험(exploration)과 활용(exploitation)을 균형 있게 다루기 위한 기본적인 전략입니다. 이를 단계별로 쉽게 설명하겠습니다.




해결하려는 문제


여러 음식점이 있는 푸드코트에 있다고 가정해봅시다. 몇몇 가게를 시도해봤고, 항상 만족스러운 단골 가게가 생겼습니다(활용). 하지만 한 번도 가보지 않은 다른 가게들도 있습니다. 그 중 하나가 더 나은 선택일 수도 있습니다(탐험). 이때 단골 가게를 계속 이용할지 아니면 새로운 가게를 시도할지 결정하는 딜레마를 탐험-활용 균형 문제(exploration-exploitation trade-off)라고 하며, ε-탐욕 알고리즘이 이를 해결하는 방법을 제공합니다.




ε-탐욕 알고리즘 작동 방식



ε-탐욕 알고리즘은 다음 두 가지 선택 중 하나를 합니다:


1. 활용: 현재까지 알려진 보상이 가장 높은 옵션 선택.

2. 탐험: 잠재적으로 더 나은 보상을 찾기 위해 랜덤으로 옵션 선택.



이 균형은 ε(엡실론)이라는 매개변수로 조정됩니다:


ε의 확률로: 알고리즘이 탐험(랜덤 행동 선택)을 합니다.

1 - ε의 확률로: 알고리즘이 활용(가장 좋은 것으로 알려진 행동 선택)을 합니다.




알고리즘의 주요 단계



초기화:


각 행동의 보상에 대한 정보가 전혀 없는 상태에서 시작.

각 행동의 가치 추정치를 초기값(예: 0)으로 설정.



의사결정 규칙:


0과 1 사이의 난수를 생성.

난수가 ε보다 작으면 랜덤 행동 선택(탐험).

그렇지 않으면 현재 가치가 가장 높은 행동 선택(활용).



업데이트 규칙:


행동을 실행한 후 보상을 관찰.

새로운 보상을 기반으로 선택한 행동의 가치 추정치를 업데이트.



반복:


행동을 선택하고 가치를 업데이트하는 과정을 반복.


예시로 보는 핵심 개념




상황 설명


당신은 3개의 슬롯머신(A, B, C)을 플레이하고 있습니다. 각 슬롯머신은 보상을 줄 확률이 다릅니다. 목표는 총 보상을 최대화하는 것입니다.




단계별 설명



초기화:


슬롯머신들에 대한 정보가 전혀 없는 상태로 시작.

각 슬롯머신의 가치를 0으로 가정.



행동 선택:


ε = 0.1(10%)라고 가정.

주사위를 굴려 결과가 0.1보다 작으면 랜덤 선택(탐험).

그렇지 않으면 현재 가치가 가장 높은 슬롯머신 선택(활용).



가치 추정 업데이트:


선택한 슬롯머신을 플레이하고 보상을 기록.

다음 공식을 사용해 머신의 가치를 업데이트:


새로운 가치 = 기존 가치 + 학습률 × (관찰된 보상 - 기존 가치)



반복:


이 과정을 반복하면서 어느 슬롯머신이 가장 좋은지 점점 더 정확히 파악.


ε-탐욕 알고리즘을 사용하는 이유



간단하고 효과적:


구현이 쉽고 계산 비용이 적음.



탐험과 활용의 균형:


ε 매개변수를 통해 탐험의 정도를 조절 가능. ε 값이 크면 탐험이 많아지고, 작으면 활용에 집중.



시간이 지남에 따라 적응:


데이터를 더 많이 수집할수록 가장 좋은 행동을 점점 더 잘 식별.




실무적 고려 사항



ε 선택:


초기에는 높은 ε 값(예: 0.1)으로 시작하고, 점차 줄이는 방식(이른바 ε 감소)이 일반적. 이는 초반에는 탐험을 많이 하고 후반에는 활용을 더 많이 하도록 함.



학습률:


보통 작은 상수값을 사용하며, 이는 가치 추정이 새 정보를 얼마나 빠르게 반영할지 결정.



변형 알고리즘:


탐욕 알고리즘: ε = 0; 항상 활용(최적이 아닌 솔루션에 갇힐 수 있음).

랜덤 알고리즘: ε = 1; 항상 탐험(최적화를 전혀 하지 않음).




장점과 한계



장점


단순성: 이해하기 쉽고 구현이 간단.

좋은 출발점: 다양한 응용 분야에서 기본적인 접근법으로 잘 작동.



한계


고정된 ε: 정적인 ε 값은 작업이 진행됨에 따라 적응하지 못할 수 있음.

비효율적 탐험: 랜덤 탐험은 명백히 열등한 행동에 시간을 낭비할 수 있음.




확장 및 개선



ε 감소: 시간이 지남에 따라 ε 값을 줄여 데이터를 더 많이 수집할수록 활용을 강조.

낙관적 초기화: 초기 행동 가치에 높은 값을 설정해 초반 탐험을 유도.

다른 탐험 전략:



상한 신뢰 한계(Upper Confidence Bound, UCB)

톰슨 샘플링(Thompson Sampling)




요약



ε-탐욕 알고리즘은 탐험과 활용을 균형 있게 조화시키는 간단하면서도 강력한 접근법입니다. ε 값을 조정하고 다른 전략과 결합함으로써 온라인 광고, 게임 플레이 등 다양한 응용 분야에 적응할 수 있습니다.




https://wnthqmffhrm.tistory.com/8

https://mangkyu.tistory.com/65