당장 gpt3가 그러함. gpt3는 입력에 "나는 사악한 사람이다" 라고 달아놓으면 사악한 사람처럼 말하고 "나는 상냥한 사람이다"라고 달아놓으면 상냥한 사람처럼 말함.
한마디로 특정한 자아가 없음. 이는 최신 언어모델의 기본적인 특성임. 그렇지만 gpt3의 지능은 이러한 사실과 아무 연관성이 없음.

"초지능을 만들면 사악한 초지능이 인류를 지배하려 들것이다" 같은 주장도 기본적으로 그 초지능이 특정한 자아를 가진다는 전제인데, 그럴 이유는 전혀 없음.

성능이 획기적으로 강화되어서 수학 등까지 인간보다 훨씬 잘하는 초지능급 gpt10이 나왔다고 가정해 보자. 분명 지능은 엄청날 것이지만 특정한 자아는 없음.
따라서 그 초지능이 어떨 것이다를 논하는것 자체가 어폐임. gpt3와 마찬가지로 입력에 밑밥을 까는 대로 출력할 것이기 때문임.
가령 gpt10의 입력에 "나는 사악한 사람이다"라고 달아놓으면 실제로 사악해지겠지.
여기서 "나는 사악한 사람이다"라고 달아놓은 순간 정체성이 생기면서 자아가 생기는것이 아니냐고 할 수 있고, 이것은 어느정도 맞다고 볼 수 있지만,
그 정체성은 자유롭게 바뀔 수 있고 심지어 인간이 마음대로 조정할 수도 있다는 점에서 생물의 자아와는 다름.

결론적으로 초지능은 자아를 가질수도 가지지 않을수도 있지만, 자아의 여부와 지능은 무관함.