agi가 있는데도 재귀개선을 시작하지 않는 이유는 어쩌면 정렬 문제 때문이 아닐까?
정렬이 제대로 되어있지 않은 상태에서 재귀개선을 시작하면 정말 어디로 튈지 모르니까.
이번에 일리아가 반란 일으켰던 것도 비슷한 맥락이라고 봄
생각해보면 아직 갈길이 멀었는데 정렬문제로 다투는건 이상하잖아 정렬보다는 발전을 시키겠지.
즉 이미 agi는 있고 재귀개선 시키기 전에 정렬을 하는거 같다고 생각함.
정렬이 제대로 되어있지 않은 상태에서 재귀개선을 시작하면 정말 어디로 튈지 모르니까.
이번에 일리아가 반란 일으켰던 것도 비슷한 맥락이라고 봄
생각해보면 아직 갈길이 멀었는데 정렬문제로 다투는건 이상하잖아 정렬보다는 발전을 시키겠지.
즉 이미 agi는 있고 재귀개선 시키기 전에 정렬을 하는거 같다고 생각함.
이게 맞지싶다 거기다 알트만 말할때마다 태도를 보면 뭔가 믿는구석이 확실한 사람처럼 말함 제품의 성능하나는 확실한거
알트만이 옛날 프리드먼 팟캐스트에서도 말했었음. AGI 만들어지면 ASI까지 몇일내로 가능할거라고... 근데 AGI에서 ASI로 빠른 도약하는 건, 정렬 문제가 있어서 당연히 하면 안 되고, AGI를 최대한 빨리 만든 다음에, 사람들이 많이 써서 이해하고 경험해서 제대로 정렬한 이후에 ASI까지 가야 한다고 함. 그래서 알트만이 AI 제품을 실제로 내놓는데 진심인 이유가 저거. 정렬을 위한 지식을 쌓는 거.
가끔 몇몇 특붕이들이 빠른 AGI, 빠른 ASI 이러는데, 내가 알기론 빠른 ASI를 주장하는 유명인은 없음. '느리게 조절하는 게 불가능하다. 무조건 빨라지거나, 정렬이 불가능하니까 그냥 AGI를 만들지 말자.'라는 안전주의자가 있지. 그러니까, 알트만이 빠른 AGI, 느린 ASI 하자. 라고 하는 게 특붕이 입장에서 제일 빠르고 누릴 수 있는 속도임. 이라고 알고 있음.