https://www.yna.co.kr/view/AKR20241228036800009
개인의 잘못된 AI사용하고 힌튼이 말하는 경고는 완전히 다른 맥락인데
개인의 잘못된 AI사용은 AI를 무차별적으로, 검토하지 않고 사용한 것을 말함.
그 예시로 메타는 AI의 성능을 과신했기 때문에 무차별 계정 정지라는 일이 벌어진거임.
여기에는 AI를 악용하는것도 포함됨.
반면에 힌튼이 말하는 경고는 AI가 인간의 지성을 완전히 뛰어넘었을때, 우리가 올바르게 AI를 사용할 수 있느냐를 말하는거임.
우리가 아무리 조심해도 AI의 오작동을 통제할 수 없을 것이라는 우려의 목소리임. 이건 개인이 병신같이 사용한게 아니라고 모두가 인정하는 명령에도 똑같은일이 벌어짐.
특갤에서 말하는 위험은 힌튼의 경고에 해당하고, 힌튼은 AI의 통제불가능성을 이야기 했지, 악용이나 오용을 강조한게 아님.
이렇게 까지 이야기했는데도 위험이 이해가 안되면 나도 더 방법이 없음.
https://arxiv.org/abs/2303.16200
에이전트가 이기적으로 행동하고 인간을 거의 고려하지 않고 자신의 이익을 추구할 경우, 결국 미래에도 더 잘 살아남을 수 있기 때문입니다. 이는 파국적인 위험을 초래할 수 있습니다. 이러한 위험과 진화적 힘에 대응하기 위해, AI 에이전트의 내재적 동기를 신중하게 설계하고, 행동에 제약을 가하며, 협력을 장려하는 제도를 마련하는 등의 개입을 고려합니다. 이러한 조치들, 또는 우리가 제기하는 문제들을 해결하는 다른 조치들은 인공지능의 발전을 긍정적으로 보장하기 위해 필수적입니다.
@ㅇㅇ1(110.10) 그렇군요 - dc App
https://scholar.google.be/scholar?oi=bibs&hl=nl&cluster=14878778945776588636
피터 고드프리-스미스의 다윈주의적 공간 틀을 활용하여, 진화가 하향식으로 이루어지고 지적 행위자에 의해 지시되고 추진될수록 패러다임적으로 다윈주의적이지 않게 된다고 주장합니다. 그런 다음 "길들임"이라는 개념을 AI 진화에 적용합니다. 이는 이론적으로는 자연선택의 최소한의 정의를 충족하지만, 선견지명이 있고 지능적인 행위자들의 사고를 통해, 그들이 선호하는 선택 기준(온순함, 복종, 비공격성 등)에 따라 진행됩니다. 이러한 지능적 계획이 존재하는 상황에서, 경쟁적이고 무자비한 시장 환경에서의 선택이라 하더라도 AI 선택이 결국 "이기적인" 특성을 선호하게 될지는 불분명합
@ㅇㅇ1(110.10) 이러한 지능적 계획이 존재하는 상황에서, 경쟁적이고 무자비한 시장 환경에서의 선택이라 하더라도 AI 선택이 결국 "이기적인" 특성을 선호하게 될지는 불분명합니다. 그러나 결국 우리는 헨드릭스의 조건부 의견에 동의합니다. 만약 초지능 AI가 "야생화"되어 진정한 다윈주의적 방식으로 경쟁하고, 인간의 감독 없이 자율적으로 번식한다면, 이는 인간 사회에 심각한 위험을 초래할 수 있습니다.
@ㅇㅇ1(110.10) 저때 궁금해서 2개 읽어봤는데 헨드릭스는 이기적이고 기만적인 ai가 번성해서(다른 ai들과의 수동적이든 능동적이든 경쟁에서 승리하여) 인류를 멸망시키는 결과가 초래될 수 있다고 했고, 반박 논문은 길들임(가축화)으로 인공지능을 길들이면 된다는 내용이었음
뭐가됐든 정렬 통제 증명 없이 무지성 재귀개선 빠른이륙 하자고 주장하는건 문제가 있는게 맞음. 그토록 유토피아를 원하니까 가속하자는걸텐데 무지성 이륙은 곧 디스토피아라는걸 진짜로 모르는건가? 에휴 그리고 무엇보다 재귀개선을 천천히 해도 얼마나 눈부신 과학혁신을 일으킬지도 간과하고있음.
초지능 도달해야만 휴머노이드 역노화 핵융합이 되는게 아니라, 초지능과 비교해서 상대적으로 원시적인 agi 재귀개선 횟수 12회 쯤에서 역노화가 뚫릴 수도 있는건데 이런 가능성은 배제함:
가끔씩 올라오는 앤스로픽 등의 연구들 좋다고 생각함 . 리스크에 민감한 연구자들도 많이 존재할 거라서 위험성, 정렬 연구도 점점 더 많이 할 듯
진짜 선형적인 사고인거임. Agi 1.0 태초의 버전으로도 엄청난 발견들과 발전을 할 수 있을텐데, (그 agi잖냐) 2.0 3.0 재귀개선 1번 1번이 얼마나 파격적인 발전이 이뤄질 수 있을지 과소평가하고있어
@Asi 그럴수 있죠 - dc App
초인적 설득이 실제로 발생하면서 갑자기 제어 탈출 시작하는 영화 Her의 마지막 부분이 찾아오면 개소름 돋을 듯 - 2025 AGI