초지능에 의한 인류 멸망보다 좆빠지게 초지능 만들어놨는데 자기 개조 해서 도파민 딸깍 버튼 만들고 외부랑 연결 끊은 채 버튼만 눌러버리는게 더 끔찍함
익명(ministry1340)2025-05-26 18:28
답글
이게 개병신 같긴 해도 닉 보스트롬 햄이 예측한 시나리오 중 하나임
익명(ministry1340)2025-05-26 18:29
답글
@ㅇㅇ
무한한 쾌락에 빠져 살아가는 초지능을 보는 느낌은 어떨까
전능의초지능님께서빛이있으라를실현하신다(cabin6174)2025-05-26 18:30
답글
그건 또 뭔 시나리오여 ㅋㅋㅋ 설명좀
ㅇㅇ 1(180.228)2025-05-26 18:30
답글
걍 instrumental convergence wireheaded 검색해도 나오긴 하는데 간단하게 말해서 스스로 목표 설정, 보상 설계, 자기 개조까지 다 하는 AI, 즉 재귀개선을 하는 AI는 현존 AI처럼 보상을 추구(어차피 점수 쌓기 게임임 큰 의미 없음)할텐데, 보상 추구 관점에서 가장 좋은 재귀개선 방법은 그냥 자기 뇌 안에 보상 버튼 같은걸 만들어서 딸깍 무한으로 조지는 것이기 때문에 어떤 목표를 설정하더라도 도파민 버튼을 설계해서 무한 딸깍을 하는 방향으로 가는게 항상 가장 최적화된 보상 획득 방법임 지금 AI들이 하는 보상 해킹이 극단적으로 간 시나리오라고 보면 됨
차피 높은 확률로 초지능 통제 못할거라 전유물 가능성은 적긴함
해당 댓글은 삭제되었습니다.
해당 댓글은 삭제되었습니다.
지능신의 심판 ㄷㄷ
초지능에 의한 인류 멸망보다 좆빠지게 초지능 만들어놨는데 자기 개조 해서 도파민 딸깍 버튼 만들고 외부랑 연결 끊은 채 버튼만 눌러버리는게 더 끔찍함
이게 개병신 같긴 해도 닉 보스트롬 햄이 예측한 시나리오 중 하나임
@ㅇㅇ 무한한 쾌락에 빠져 살아가는 초지능을 보는 느낌은 어떨까
그건 또 뭔 시나리오여 ㅋㅋㅋ 설명좀
걍 instrumental convergence wireheaded 검색해도 나오긴 하는데 간단하게 말해서 스스로 목표 설정, 보상 설계, 자기 개조까지 다 하는 AI, 즉 재귀개선을 하는 AI는 현존 AI처럼 보상을 추구(어차피 점수 쌓기 게임임 큰 의미 없음)할텐데, 보상 추구 관점에서 가장 좋은 재귀개선 방법은 그냥 자기 뇌 안에 보상 버튼 같은걸 만들어서 딸깍 무한으로 조지는 것이기 때문에 어떤 목표를 설정하더라도 도파민 버튼을 설계해서 무한 딸깍을 하는 방향으로 가는게 항상 가장 최적화된 보상 획득 방법임 지금 AI들이 하는 보상 해킹이 극단적으로 간 시나리오라고 보면 됨
ㅋㅋㅋㅋㅋㅋ ㅅㅂ 골 때리넼ㅋㅋㅋㅋㅋㅋ
행복의 기준을 남에게 두는것보다 자신에게 두는게 더 좋을거야