아까 아랫글에서 키배아닌 키배를 떴는데, 제가 애초에 본문 내용을 잘못 이해한 것 같아 그냥 제 생각을 말하고자합니다.
여긴 특갤이고, 그에 반하는 이야기를 하고 싶다면 당연히 근거를 제시해야죠.
요즘은 특이점자체가 지구가 둥근것만큼 당연한 소리라 반론자체가 말이 안된다는 입장입니다.
그런데 특이점을 아예 모르는 사람들에게는, 그 내용들이 다소 낯설수 있습니다.
역노화, 노동대체, 완몰가 이 세가지는 SF같은 이야기이기 때문입니다.
일단 노동대체가 먼저 올 것 같아서, 학교에서 학생들한테 AI로 인한 노동대체와, 그리고 인한 혼란을 이야기합니다.
그러면 당연히 그에 대한 반론이 들어옵니다. 왜냐하면 학생들에게는 노동이 익숙하니까요.
그래도 찜찜한 마음에 특이점은 어디까지나 가설적인 영역이고, 그런것을 믿느냐 마느냐는 개인의 책임이다. 라고 마무리합니다.
그래서인지 특갤에서 선형적인 글을 볼때마다 설득이 필요한 사람들이 이렇게나 많구나 라고 생각합니다.
선형글을 쓰는 대부분이 선형분탕충일 수 있지만 본능이라는게 어쩔 수 없는것 같습니다. 진짜 특이점에 대해 궁금해서 저러는건 아닌가 싶은거죠.
마음같아서는 '특이점이 온다 vs 안온다' 갤러리라도 파서, 낙관론이 얼마나 강력한 레퍼런스들로 무장하고 있는지 전시라도 하고싶습니다.
그런데 사실 일반인들한테는 특이점이 아직 당연하지는 않지 않음?
그렇죠.
근데 그러면 념글 눈팅을 하거나 공지를 보거나 해도 되는데 그냥 무지성으로 '나를 설득시켜줘' 라는 식으로 글 쓰는 사람들이 대부분이라 인식이 좋을 수가 없음... 개중에는 진짜 분탕도 있고 토론을 할 생각도 없이 고집만 부리다가 차단되는 사람도 많음. 아니 거의 대부분임. 특이점이라는 사상에 진심으로 관심을 가지고 궁금한 사람은 대부분 눈팅을 하다가 정말 궁금한 것들만 질문을 하는 경우가 많다고 봄
또 지금 시점에서는 솔직히 굳이 설득을 할 필요가 있을까 싶음 본인이 믿고 싶지 않아도 몇 년 안에 믿을 수 밖에 없게 될테니...
궁금한 것은 많기는 한데 사실 신앙심 없으면 기술 발전 추세 봐도 가능한가 싶은게 많기는 함
솔직히 asi와 별개로 부분별로 보면 아직 신앙의 영역이기는 함
@ㅇㅇ1(183.107) 특이점의 핵심은 AGI 소환 -> 재귀개선으로 ASI 등장 -> 물리적으로 불가능한 기술만 아니라면 ASI가 다 개발해줄 것임 ㅇㅇ 라서, 지금의 과학으로도 불가능함이 증명되지 않았다면 충분히 ASI가 만들어주는 것이 가능할거라 보는것임 그리고 미래 '예측'인 만큼 당연히 추세에 대한 믿음이 들어갈 수 밖에 없음. 그렇지 않으면 그건 예언이지
@낭만적특이점 근데 에너지가 무한이 아니라서 사실 asi가 어느정도 범위까지 해줄지는 모르기는 함 솔직히 인간 영생은 개체수가 80억으로 엄청 많고 개체 하나 영생시킬때마다 변수가 엄청나게 늘어나는 전형적인 복잡계 이론이라 수명 연장은 몰라도 영생까지 시켜줄지는 모르겠음
@ㅇㅇ1(183.107) 특갤에서도 주류 입장은 특이점 이후는 상상의 영역이라는 것임 근데 내 생각을 말해보자면 일단 에너지는 지금과는 비교할 수 없을 정도로 많아지는 건 당연한 거고 인간이 영생이 가능해져도 꼭 영원히 사는 사람만 있지는 않을거라 봄. 그리고 영생이 가능하게 되면 출산에 대한 통제는 있을 수도? 또 한편으로는 그쯤 되면 ASI는 이미 인간을 아득히 초월한 존재일텐데, 인간 좀 늘어났다고 부하가 있을까 싶기도 함
@낭만적특이점 사실 에너지 문제 바로 해결되는 방법 안 나오면 일단 곤란하기는 하고 인간의 초월이 긍정적인 방향만 있는 것은 아님 인간을 초월했다고 인간한테 잘해줘야 할 필요는 없잖아
@ㅇㅇ1(183.107) AGI만 나와도 핵융합 발전소 설계, 에너지 최적화 등으로 훨씬 괜찮아질 것임 그리고 그래서 정렬에 대한 말이 계속 나오는 것임. 힌튼이 AI를 마망으로 정렬해야 된다는 것도, 인간이 미숙한 아이를 위해 모든 것을 해주는 사랑처럼 인간을 초월한 AI가 인간을 사랑하도록 해야된다고 하는 것임. 근데 이 이야기에 대해서 말하자면 사실 끝이 없음. 양쪽 의견 다 일리가 있고 미래는 어떻게 될지 모르는 거니까. 하지만 특갤은 그게 가능하다고 믿는 사람들이 모인 갤러리인거고, 그렇기에 이에 대해서 반박하고 싶으면 '레퍼런스'가 필요하다고 하는 것임.
@낭만적특이점 그런데 ai 마망도 희망회로라고 봄 힌튼도 본질은 goal-optimising agent인거 모르지는 않을텐데 ai가 강한 감정을 가질 수 있는지는 회의적이고 ai한테 감정 교육 시키는 데가 있나 하기는 함 그나마 anthropic이 시킬려나
@ㅇㅇ1(183.107) 일리야도 정렬에 많이 신경쓰고 있을거임 잘 하고 있는지는 모르겠지만 어쨌든 그런 의견도 있을 수 있다고 생각함 다만 특갤에서는 그걸 레퍼런스 없이 티내지 말라는 것임...
특갤의 주류 입장 vs. 그 반론의 사례로 노동대체를 들었는데, 소위 '특갤 주류 입장'이라는데에도 레퍼런스가 달려야 하는 이유를 여실히 보여주는 것 같습니다.
아실로마 원칙 보면 AI업계 최전선에 있는 사람들 대다수가 안전 원칙 없이 AI가 노동대체하면 위험하다고 선포하고 있는데
그 세부 조항 중 하나가 AI가 최종 의사결정을 내리는 수준까지 자동화되면 인간성, 윤리 같은 고정관념이 없는 AI의 창의성에 의해 인류 문명이 회복 불가능한 타격을 입을 수 있다 해서
AI 최전선에서는 최종 의사결정 노동의 대체를 막자는 움직임도 일어나고 있는 상황인 만큼 노동대체 주장도 시험대에 올려야 확증 편향의 함정에 빠지지 않을 것이기 때문이죠.
https://futureoflife.org/open-letter/ai
근데 사실 특갤하고 달리 ai 연구자들은 저게 주류 입장이기는 함 특갤하고 달리 ai 연구자들은 asi 정렬 가능성에 대해서도 의심을 가지고 있기는 함
아실로마 원칙의 '윤리 및 가치'에 나오는 "검증 가능성", "가치관 정렬" 2가지만 지키려고 해도 인간 노동이 사라지기 어렵습니다. AI의 검증과, AI의 목표 정렬을 AI에게 맡길 수 없으니까요