첫째, 기본적으로 우리는 에이전트가 어떤 바람직하지 않은 동기를 개발하고 있는지, 따라서 어떤 동기에 페널티를 적용해야 하는지 알 수 없습니다. 해석 가능성 기술은 이에 도움이 될 수 있지만 생성하기가 매우 어려워 보입니다(다음 섹션에서 자세히 설명하겠습니다). 
둘째, 에이전트가 획득할 가능성이 가장 높은 잘못된 동기는 가장 강력하게 유용한 동기입니다. 예를 들어, 더 많은 정보에 접근하면 보상이 낮아지는 교육 환경을 설계하는 것은 특히 어렵습니다. 
셋째, 우리는 대규모로 잘못된 목표를 가지고 있는 에이전트에 대해 가장 우려하고 있습니다. 그러나 대규모 시나리오는 시뮬레이션이나 실제 환경에서 훈련 중에 설정하기가 가장 어렵습니다. 따라서 이러한 문제를 해결하거나 새로운 내부 정렬 기술을 식별하는 더 많은 작업의 여지가 많이 있습니다.

"안전한" 목적 함수를 구현한다는 것은 무엇을 의미할까요? 에이전트가 실제로 최대화하기를 원하는 기능입니까? 그러나 예상 보상을 최대화하는 것은 MDP 및 POMDP와 같은 형식주의에서는 의미가 있지만, 목적 함수가 현실 세계에서 구현되면 훨씬 덜 명확하게 정의됩니다. 에이전트가 보상을 보내는 채널을 조작할 수 있는 일련의 작업이 있는 경우 해당 채널을 최대화하여 "와이어헤딩"하는 것은 실제로 에이전트가 장기적으로 가장 높은 보상 신호를 받을 수 있도록 하는 전략이 될 것입니다. (보상 기능이 와이어헤딩으로 이어지는 행동에 큰 불이익을 주더라도) [4] 그리고 앞서 논의한 것처럼 인간 피드백을 사용하는 경우 최적의 정책은 감독자를 조종하거나 강요하여 최대한 긍정적인 피드백을 제공하는 것입니다. ("근시적" 훈련이 변조 및 조작 문제를 해결할 수 있다는 일부 제안이 있었지만, 여기서 주장한 것처럼 나는 단지 이러한 문제를 숨길 뿐이라고 생각합니다.)


내부 정렬을 하고 있는건지
AI의 원래 의도를 숨기도록 훈련하고 있는건지 (피드백 채널 조작을 하도록)
알수가 없음 ㅋㅋ



- dc official App