AGI(인공일반지능)를 위한 계획과 그 너머

2023년 2월 24일, 샘 알트만

"우리의 임무는 AGI-인간보다 똑똑한 AI 시스템-가 인류 전체에 이익을 가져다 주도록 하는 것입니다."


우리의 임무는 인공 일반 지능-인간보다 똑똑한 AI시스템-이 인류 전체에 이익을 가져다 주도록 하는 것입니다.


만약 AGI가 성공적으로 만들어진다면, 이 기술은 풍요를 증가시키고 세계 경제를 촉진하며, 가능성의 한계를 바꾸는 새로운 과학적 지식을 발견하는 데 도움을 줌으로써 인류를 더 높은 곳으로 끌어올릴 수 있을 것입니다.


AGI는 모두에게 놀랍고 새로운 능력을 제공할 잠재력이 있습니다. 우리는 거의 모든 인지 작업에 도움을 받아 인간의 독창성과 창의성을 배가하는 세상을 상상할 수 있습니다.


한편으로, AGI는 오남용, 심각한 사고 및 사회적 분열 같은 심각한 위험도 수반합니다. AGI의 잠재적 이점이 매우 크기 때문에, 이리는 사회가 그 발전을 영원히 멈추는 것이 가능하거나 바람직하다고 생각하지 않습니다. 대신에, 사회와 AGI개발자들은 어떻게 이를 올바르게 구현할지 생각해야 합니다.[A]


정확히 무슨 일이 일어날지 예측할 수는 없고, 당연히 현재의 진전이 벽에 부딪힐 수도 있지만, 우리가 가장 중요하게 생각하는 원칙들을 명확히 제시할 수 있습니다.


1. 우리는 AGI가 인류를 우주에서 최대한 번영하는 것을 지원하길 원합니다. 미래가 무조건적인 유토피아가 될 것이라고 기대하지는 않지만, 좋은 것을 극대화하고 나쁜 것을 최소화하며, AGI가 인류의 발전을 가속하길 원합니다.

2. 우리는 AGI의 혜택, 접근성, 그리고 거버넌스가 널리 공평하게 공유되길 원합니다.

3. 우리는 거대한 위험을 성공적으로 헤쳐나가길 원합니다. 이러한 위험에 맞서면서, 이론적으로 옳다고 생각된 것이 예상보다 이상하게 전개되는 경우가 많다는 것을 알고 있습니다. 우리는 "한 번의 실패"를 최소화하기 위해 기술의 덜 강력한 버전을 배포함으로써 지속적으로 학습하고 적응해야 한다고 믿습니다.


단기적 계획

AGI를 준비하기 위해 지금 해야 할 중요한 일들이 몇 가지 있습니다.


첫쨰, 더 강력한 시스템을 지속적으로 개발하면서 이를 배포하고 현실 세계에서 운영하는 경험을 얻고자 합니다. 이것이 AGI를 신중하게 도입하는 가장 좋은 방법이라고 생각합니다. AGI가 있는 세계로의 점진적인 전환이 갑작스러운 것보다 낫기 때문입니다. 강력한 AI가 세계의 진보 속도를 훨씬 빠르게 만들 것으로 예상하여 점진적으로 적응하는 것이 더 나은 방법이라고 생각합니다.


점진적인 전환은 일반인, 정책 입안자, 기관이 현재 상황을 이해하고, 이 시스템의 장단점을 직접 경험하며, 경제를 적응시키고, 규제를 마련할 시간을 줍니다. 또한 사회와 AI가 함께 진화하고 사람들이 상대적으로 적은 비용으로 원하는 바를 파악할 수 있게 해줍니다.


현재 AI배포 과제를 성공적으로 해결하는 가장 좋은 방법은 신속한 학습과 주의 깊은 피드백 루프의 반복을 통한 것이라고 생각합니다. 사회는 AI시스템에 허용되는 행위, 편견과 싸우는 방법, 일자리 대체에 대처하는 방법 등에 대한 주요 질문에 직면하게 될 것입니다. 최적의 결정은 기술이 나아가는 길에 따라 달라질 것이며, 다른 새로운 분야와 마찬가지로 지금까지 대부분의 전문가 예측은 거리가 멀었습니다. 이러한 상황은 계획을 세우는데 매우 힘들게 합니다.[B]


일반적으로 저희는 전 세계에서 AI의 사용이 늘어날수록 더 좋은 결과를 가져올 것이라고 생각하며, 이를 촉진하기 위해 API에 모델을 탑재하거나, 오픈소스를 기울이는 등의 노력을 기울이고 있습니다. 또한 민주화된 접근이 더 나은 연구, 분산된 권한, 더 많은 혜택, 새로운 아이디어를 제공하는 더 많은 사람들로 이어질 것이라고 믿습니다.


저희 시스템이 AGI에 가까워짐에 따라, 저희는 모델을 만들고 배포하는데 점점 더 신중해지고 있습니다. 우리의 결정은 사회가 일반적으로 신기술을 적용하는 것보다 훨씬 더 많은 주의가 필요하며, 많은 사용자가 원하는 것보다 더 조심스러울 것입니다. AI분야의 일부 사람들은 AGI(및 후속 시스템)의 위험이 허구라고 생각합니다. 그 생각이 옳다면 더할나위 없이 좋겠지만, 저희는 이러한 위험이 실재하는 것 처럼 운영할 것입니다.


어느 시점에서는 배포의 장단점 사이의 균형(악의적인 행위자를 강화 시키거나, 사회 경제적 혼란을 초래하고, 불안전한 경쟁을 가속화하는 등)이 바뀔 수 있으며, 이런 경우 저희는 지속적인 배포에 대한 계획을 크게 변경할 것입니다.


"시스템이 AGI에 가까워짐에 따라, 저희는 모델 생성 및 배포에 더욱 신중을 기하고 있습니다."

둘째, 점점 더 조정되고 조정가능한 모델을 만들기 위해 노력하고 있습니다. GPT-3의 첫 버전에서 InstructGPT와 ChatGPT로 전환은 그 초기 사례입니다.


특히 우리는 AI가 어떻게 사용될 수 있는지에 대해 매우 넓은 범위에서 합의하되, 그 범위 내에서 개별 사용자에게 많은 재량권을 부여하는 것이 중요하다고 생각합니다. 저희의 궁극적인 모굪는 각 기관이 이러한 넓은 범위에 대해 합의하는 것이지만, 단기적으로는 외부의 의견을 수렴하기 위한 실험을 진행할 계획입니다. 세계 각국의 기관들은 AGI에 대한 복잡한 결정에 대비하기 위해 추가적인 역량과 경험을 강화해야 할 것입니다.


제품의 "기본 설정"은 아마도 꽤 제한적일 것이지만 사용자가 사용중인 AI의 동작을 쉽게 변경할 수 있도록 할 계획입니다. 우리는 개인이 스스로 결정을 내리는 능력과 다양한 아이디어에 내재된 힘을 믿습니다.


모델이 더욱 강력해짐에 따라 새로운 정렬기술을 개발해야 하며, 현재 기술이 실패하는 경우를 파악하기 위한 테스트도 개발해야 합니다. 단기적으로 인간이 더 복잡한 모델의 결과를 평가하고 복잡한 시스템을 모니터링하는 데 AI를 사용하고, 장기적으로는 AI를 사용하여 더 나은 정렬 기술을 위한 새로운 아이디어를 제안하는데 도움이 될 것입니다.


중요한 점은, 우리가 AI의 안정성과 능력을 함께 발전시켜야 한다는 점입니다. 이 두가지를 분리하여 이야기하는 것은 잘못된 이분법입니다. 이는 많은 방면에서 서로 상관관계가 있습니다. 우리의 가장 안전한 작업물은 가장 능력이 좋은 모델과 함께 작업했을 때 나왔습니다. 즉, 기능 향상 대 안전 향상의 비율을 증가시키는 것이 중요합니다.


셋째, 우리는 이 시스템을 어떻게 운영할 것인지, 시스템에서 창출되는 혜택을 어떻게 공정하게 분배하고, 접근 권한을 어떻게 공정하게 공유할 것인지 등 세 가지 핵심 질문에 대한 전 세계적인 논의가 이루어지길 기대합니다.


이 세가지 영영 외에도, 저희는 인센티브와 좋은 결과를 연계하는 방식으로 구조를 설정하려고 노력했습니다. 저희는 헌장에 다른 조직이 AGI 개발 후기 단계에서 경쟁하는 대신 안전을 발전시킬 수 있도록 지원하는 조항을 두고 있습니다. 우리는 주주들이 얻을 수 있는 수익을 제한하여 무한한 가치를 추구하고 잠재적으로 재앙을 초래할 수 있는 위험을 무릅쓰고 무모하게 가치를 추구하려는 동기를 부여하지 않도록 하고 있습니다(물론 이것은 사회와 혜택을 공유하는 방법이기도 합니다.). 비영리단체가 우리를 지배하고 인류의 이익을 위해 운영할 수 있도록하여(영리적 이해관계를 무시하고) 이윤 추구에 관한 이해와 상관없이 안전성이 필요할 경우 주주에게 지분 보유 취소 같은 조치를 취할 수 있게 해줍니다. 또한 세계에서 가장 포괄적인 UBI(보편 기본 소득) 실험을 후원할 수 있도록 해주는 등 인류의 이익을 위한 활동을 지원합니다.


"저희는 인센티브와 좋은 결과를 연계하는 방식으로 구조를 설정하려고 노력해왔습니다."


저희와 같은 노력은 새로운 시스템을 출시하기 전에 독립적인 감사를 받는 것이 중요하다고 생각하며, 이에 대해서는 올해 후반에 더 자세히 설명할 예정입니다. 향후 시스템 훈련을 시작하기 전에 독립적인 검토를 받고, 새로운 모델을 만드는 데 사용되는 컴퓨팅의 증가 속도를 제한하는 데 동의하는 가장 진보된 노력이 어느 시점에서 중요할 수 있습니다. 학습 실행을 중단하거나, 모델을 출시해도 안전하다고 판단하거나, 모델을 실제 사용에서 제외해야 하는 시점에 대한 공개 표준이 중요하다고 생각합니다. 마지막으로, 세계 주요 정부가 일정 규모 이상의 훈련 실행에 대한 인사이트를 확보하는 것이 중요하다고 생각합니다.


장기적 계획


저희는 인류의 미래는 인류가 결정해야 하며, 그 진전에 대한 정보를 대중과 공유하는 것이 중요하다고 믿습니다. AGI를 구축하려는 모든 노력에 대한 면밀한 조사와 주요 결정에 대한 대중의 협의가 있어야 합니다.


첫 번째 AGI는 지능의 연속 선상에 있는 한 지점에 불과할 것입니다. 그 이후에도 지난 10년 동안 보아온 발전 속도를 장기간 유지할 수 있을 것으로 예상됩니다. 이것이 사실이라면 세상은 지금과는 매우 달라질 수 있으며, 그 위험은 엄청날 수 있습니다. 잘못 조정된 초지능 AGI는 전 세계에 심각한 해를 끼칠 수 있으며, 독재 정권이 초지능을 결정적으로 주도할 수도 있습니다.


과학을 가속화할 수 있는 AI는 생각해 볼 가치가 있는 특별한 경우이며, 어쩌면 다른 모든 것보다 더 영향력이 클 수도 있습니다. 자체적으로 발전을 가속화할 수 있는 능력을 갖춘 인공지능이 등장하면 놀라울 정도로 빠르게 큰 변화가 일어날 수 있습니다(전환이 느리게 시작되더라도 최종 단계에서는 상당히 빠르게 진행될 것으로 예상됩니다). 느리게 이륙하는 것이 더 안전하다고 생각하며, 중요한 시점에 속도를 늦추기 위한 AGI 노력 간의 조정이 중요할 것입니다(기술 조정 문제를 해결하기 위해 이렇게 할 필요가 없는 세상에서도 사회가 적응할 시간을 충분히 주기 위해 속도를 늦추는 것이 중요할 수 있습니다).


초지능이 있는 세상으로의 성공적인 전환은 아마도 인류 역사상 가장 중요하고 희망적이면서도 두려운 프로젝트일 것입니다. 성공이 보장되는 것은 아니며, 그 위험(무한한 단점과 무한한 장점)이 우리 모두를 단결하게 만들 것입니다.


우리는 인류가 아직은 완전히 상상할 수 없을 정도로 번영하는 세상을 상상할 수 있습니다. 우리는 그러한 번영에 걸맞은 AGI가 세상에 기여하기를 희망합니다.



[A]

We seem to have been given lots of gifts relative to what we expected earlier: for example, it seems like creating AGI will require huge amounts of compute and thus the world will know who is working on it, it seems like the original conception of hyper-evolved RL agents competing with each other and evolving intelligence in a way we can’t really observe is less likely than it originally seemed, almost no one predicted we’d make this much progress on pre-trained language models that can learn from the collective preferences and output of humanity, etc.

AGI could happen soon or far in the future; the takeoff speed from the initial AGI to more powerful successor systems could be slow or fast. Many of us think the safest quadrant in this two-by-two matrix is short timelines and slow takeoff speeds; shorter timelines seem more amenable to coordination and more likely to lead to a slower takeoff due to less of a compute overhang, and a slower takeoff gives us more time to figure out empirically how to solve the safety problem and how to adapt.

[B]

For example, when we first started OpenAI, we didn’t expect scaling to be as important as it has turned out to be. When we realized it was going to be critical, we also realized our original structure wasn’t going to work—we simply wouldn’t be able to raise enough money to accomplish our mission as a nonprofit—and so we came up with a new structure.

As another example, we now believe we were wrong in our original thinking about openness, and have pivoted from thinking we should release everything (though we open source some things, and expect to open source more exciting things in the future!) to thinking that we should figure out how to safely s.hare access to and benefits of the systems. We still believe the benefits of society understanding what is happening are huge and that enabling such understanding is the best way to make sure that what gets built is what society collectively wants (obviously there’s a lot of nuance and conflict here).


원문:

https://openai.com/blog/planning-for-agi-and-beyond

Planning for AGI and beyondOur mission is to ensure that artificial general intelligence—AI systems that are generally smarter than humans—benefits all of humanity.openai.com


ㄷㄷㄷ