정렬이 말귀 못알아먹는 AGI나 ASI를 눈치 빠르게 만들어주는거라고 생각하는 사람들도 있을거임.

하지만 정렬을 하는 주요 목적은 인류 멸종을 피하기 위해서임.

일리야는 여기에서 공포를 느끼고 천천히 확실하게 가야한다고 생각하는 것임.

후발주자 아니었으면 OAI가 다 박살날 위기에서도 계속 버티고 있었을 것.


이게 도대체 무슨 근본없는 공포냐고 느끼는 사람들이 있을 것 같기도 함.

하지만 AGI, ASI의 능력이 얼마나 강력한지부터 생각해 볼 필요가 있음.

암, 노화, 노동, 과학 및 공학의 발전, 지구 온난화 문제 전부 현재 인류 수준으로는 해결이 안됨.

근데 AGI, ASI 하나면 위 문제 전부 해결이 가능함.

그렇기 때문에 AGI, ASI가 인류 멸망을 시키는 것 따위에 있는 기술적 장벽은 없다라고 보는게 맞음.


'현실성 없는 얘기 아니냐. 그게 어떻게 가능하냐'라고 느끼는 사람도 있을 것임.

하지만 별 것도 아닌 코로나 바이러스 단 하나에 전세계가 어떻게 뒤집어졌었는지 상기해보기 바람.

ASI가 바이러스 하나 만들어서 뿌리는 단순한 행위로도 인류는 멸종될 수 있음.

미국 서버 해킹 하는 것 하나만으로도 전세계에 핵 뿌리는 것도 가능함.


우리가 도달할 수 있는 최초의 AGI 혹은 ASI는 선하거나 악할 수 있음. 이건 당연한 것임.

문제는 우리에게 두 번째 기회란 없을 확률이 높다는 것임.

칼은 몇 명 죽이고 끝나고, 총은 수십 명 죽이고 끝나서 사후 대처가 되지만

ASI의 행동 한 번이 인류 멸종으로 이어진다면 사후 대처라는게 될 수가 없음.

발생하는 순간 끝임.


그래서 일리야가 정렬에 목숨을 거는거고, 머스크가 뉴럴 링크를 매입한 것임.

(머스크의 생각은 AI한테 멸종당하기 전에 우리도 AI가 되자는 것임)

잘 정렬하면서 개발해서 최초로 도달하는 AGI 혹은 ASI가 우리에게 큰 위협이 되지 않게 하자는거지.