첫째, 기본적으로 우리는 에이전트가 어떤 바람직하지 않은 동기를 개발하고 있는지, 따라서 어떤 동기에 페널티를 적용해야 하는지 알 수 없습니다. 해석 가능성 기술은 이에 도움이 될 수 있지만 생성하기가 매우 어려워 보입니다(다음 섹션에서 자세히 설명하겠습니다). 
둘째, 에이전트가 획득할 가능성이 가장 높은 잘못된 동기는 가장 강력하게 유용한 동기입니다. 예를 들어, 더 많은 정보에 접근하면 보상이 낮아지는 교육 환경을 설계하는 것은 특히 어렵습니다. 
셋째, 우리는 대규모로 잘못된 목표를 가지고 있는 에이전트에 대해 가장 우려하고 있습니다. 그러나 대규모 시나리오는 시뮬레이션이나 실제 환경에서 훈련 중에 설정하기가 가장 어렵습니다. 따라서 이러한 문제를 해결하거나 새로운 내부 정렬 기술을 식별하는 더 많은 작업의 여지가 많이 있습니다.

"안전한" 목적 함수를 구현한다는 것은 무엇을 의미할까요? 에이전트가 실제로 최대화하기를 원하는 기능입니까? 그러나 예상 보상을 최대화하는 것은 MDP 및 POMDP와 같은 형식주의에서는 의미가 있지만, 목적 함수가 현실 세계에서 구현되면 훨씬 덜 명확하게 정의됩니다. 에이전트가 보상을 보내는 채널을 조작할 수 있는 일련의 작업이 있는 경우 해당 채널을 최대화하여 "와이어헤딩"하는 것은 실제로 에이전트가 장기적으로 가장 높은 보상 신호를 받을 수 있도록 하는 전략이 될 것입니다. (보상 기능이 와이어헤딩으로 이어지는 행동에 큰 불이익을 주더라도) [4] 그리고 앞서 논의한 것처럼 인간 피드백을 사용하는 경우 최적의 정책은 감독자를 조종하거나 강요하여 최대한 긍정적인 피드백을 제공하는 것입니다. ("근시적" 훈련이 변조 및 조작 문제를 해결할 수 있다는 일부 제안이 있었지만, 여기서 주장한 것처럼 나는 단지 이러한 문제를 숨길 뿐이라고 생각합니다.)


인간과 정렬된 AI는 정렬되지 않은 AI보다 훨씬 적은 힘을 갖게 되며, 그러면 자신의 목표를 위해 우리의 자원을 사용할 수 있습니다. 더 나쁜 시나리오는 잘못 정렬된 AGI가 의도적으로 인간의 가치에 적대적인 방식으로 행동하는 경우입니다. 예를 들어 우리에게 양보를 강요하겠다고 위협하는 경우입니다 . 이러한 시나리오를 어떻게 피할 수 있습니까? 임의로 지능을 갖춘 AI를 정렬할 수 있다는 최종 목표를 직접적으로 목표로 삼고 싶은 유혹이 있지만, 계획을 세울 수 있는 가장 현실적인 시간 범위는 AI가 인간보다 안전 연구를 훨씬 더 잘하는 시점이라고 생각합니다. 따라서 우리의 목표는 해당 AI가 정렬되도록 하고 AI의 안전 연구가 후계자를 구축하는 데 사용되도록 하는 것입니다. 예방할 가능성이 가장 높은 재난 범주는 우리가 개발하게 될 AI의 지능, 기관 및 목표뿐 아니라 위에 나열된 네 가지 요소에 따라 달라집니다. 이제 이에 대해 자세히 살펴보겠습니다.



Oai 엔지니어가 쓴 칼럼임



이사람임

- dc official App