mdp에서 bellman optimal eqn말고 다른걸 목적함수로 써도됨? 요번에 o1관련된거 찾아보니까 그냥 마지막보상 젤높은거 고르고 할인율먹인 가중합안쓰고 곱해서구하고 이러는것들도 있던데 너무혼란스러움
surrogate object면 괜찮지, RLHF는 bandit이니까 그런거고