1. 정렬의 기준이 정확히 없음.
인류를 위하는 방향이라는 게 인간끼리도 의견이 다 다른데 어떤 방향으로 정렬할것인지 누가 결정함?
물론 어느정도 누구나 찬성하는 범위 안으로 해야겠지. 그렇다 한들 그 범위 안에서 어떤 결정을 할지 그런 것은 ai가 자체적으로 판단할 것이고 그 방향이 우리들이 생각하는 것과 다를 가능성이 있음
그래도 범위 안에만 들어온다면 성공임

2.

그러니 두 ai 기업이 있는데 한 쪽은 안전,정렬에 신경쓰면서 지능 업시키고, 한쪽은 정렬 무시한다면 후자가 더 빨리 초지능이 나오겠지
가속과 정렬이 반비례한다는 문제가 있음