https://towardsdatascience.com/ai-without-objectives-48b9c8e7b988


https://youtu.be/fCyc8ymp1pE
창의성은 상당히 좁은 맥락을 제외하고 AI 시스템이 아직 마스터하지 못한 것입니다. DALL-E 및 GPT-3과 같은 이미지 및 텍스트 생성기는 어떤 면에서는 창의적으로 보일 수 있지만 실제로는 훈련 세트의 데이터를 보간하여 샘플을 생성할 뿐입니다. 인간 발명가가 보여주는 종류의 진정한, 개방형, 배포 외의 창의성은 훨씬 더 어렵습니다.창의성이 자동화하기 어려운 이유 중 하나는 쉽게 평가할 수 없기 때문입니다. 정의에 따르면 창의적 결과물에는 예상치 못한 기능이 있으며 연구자가 미리 예측할 수 없는 문제를 해결하는 결과를 어떻게 평가할 수 있는지 명확하지 않습니다. Thomas Edison의 예를 들어 보십시오. 돌이켜보면 그가 매우 창의적이었다는 것은 분명합니다. 그의 발명품은 흥미롭고 가치가 있습니다. 그러나 그의 창의성을 평가하기 위해 그가 무엇을 발명할지 구체적으로 알기 전에 어떤 척도를 사용했을 까요? Ken은 이것이 창의성과 일반 지능을 깨기 위해 우리가 답해야 하는 핵심 질문 중 하나라고 생각합니다.무엇이 창의성에 해당하는지 결정하는 데는 주관성이 내재되어 있습니다. Thomas Edison의 예로 돌아가서: Edison이 전구를 발명했을 때 그는 엄청난 경제적 가치를 발견했습니다. 그러나 모든 경제적 가치는 주관적입니다. 예를 들어 사람들은 전구가 없는 것보다 전구가 있는 것이 더 낫다고 주관적으로 느끼기 때문에 전구에 비용을 지불합니다. 창의적 과정의 결과를 평가하는 데 내재된 주관성은 또 다른 장애물입니다.창의성의 직관에 어긋나는 한 가지 특징: 특정한 무언가를 만드는 것을 목표로 하고 이를 점진적으로 최적화하는 것은 가치를 창출하는 데 있어 비효율적인 방법인 경우가 많습니다. 원하는 크리에이티브 출력의 전구체가 해당 출력과 매우 다르게 보일 수 있기 때문입니다. 예를 들어 알베르트 아인슈타인은 1세기 전에 수학자들이 발명했을 때 문자 그대로 적용할 수 없었던 일종의 기하학을 사용하여 혁명적인 중력 이론인 일반 상대성 이론을 개발했습니다. 만약 그 수학자들이 그저 그들이 흥미롭게 발견한 아이디어를 쫓는 것보다 훨씬 이전에 새로운 중력 이론에 기여하려고 노력했다면, 그렇게 증명된 이국적인 새로운 기하학을 개발하는 데 시간을 할애했을 것 같지 않습니다. 아인슈타인이 마침내 그것을 필요로 할 때 유용합니다. 역설적으로,특정 목표를 위해 최적화하는 대신 Ken은 흥미로운 일을 하는 AI 설계를 옹호합니다. "흥미 롭다 "는 것은 주관적인 용어이지만 객관적으로 측정할 수 있는 한 가지 측면은 새로움입니다 . 아이디어나 상태가 흥미롭기 위해서는 최소한 이전의 것과 달라야 합니다. 참신함은 합리적으로 잘 측정될 수 있습니다. 예를 들어, 일부 유사성 측정에 따라 대상 상태를 과거 상태와 비교할 수 있고 덜 유사한 상태를 선택할 수 있습니다.Ken은 AI 안전을 위한 참신함 검색과 같은 개방형 학습 전략의 위험에 대해 언급했습니다. 특히 그는 개방형 학습의 위험 중 하나는 예측 불가능성으로 인해 사고나 잘못된 행동을 예측하기가 훨씬 더 어렵다고 강조했습니다. 개방형 학습이 AGI로 가는 중요한 경로의 일부로 판명된다면 우리는 안전을 위해 AI 창의성을 제한할 강력한 방법을 찾아야 합니다.