재귀개선 안되는건 아님
자신이 아는 지식내에서 더 나은 지식을 만들 수 있는건 현재도 가능함
근데 그게 '맞냐 아니냐' 를 판단하는게 문제란 거임
그리고 인간 조차도 인공지능이 만든 합성데이터의 지식이 맞냐 아니냐를 판단하는것이 어려운 현실임
내가 인문학 관련해서 굉장히 많은 글을 읽었는데도
지금 gpt4 1106 의 인문학 수준이 너무 높아서 내가 이걸로 실험삼아 글 집필할때 '아니다' 라고 판단한 문장이 다시 읽어보니까 굉장히 짜임새 있고 빌드업된 문장 이었던 거임
이런 문제가 또 있음
인간의 판단도 환각문제를 벗어날 수 없고 인공지능 자체도 환각문제를 벗어날 수 없다는 것임
다만 여기서 가장 큰 문제는 잘못된 합성데이터가 쌓이면 쌓일수록 이게 나비효과 처럼 번져서 잘못된 답을 무조건적으로 내놓는 학습모델이 탄생될 수 있다는 것
'맞냐 아니냐' 를 판단하는 기술도 앞으로 발전할 거임. 너가 예시로 든 인문학은 적절하지 못하고, 논리기반으로 짜여진 수학이나 코딩 과학은 가능하다고 봄
'논리기반으로 짜여진 수학이나 코딩 과학은 가능하다고 봄' 이것에 대한 근거를 제시하길바람
언어도 짜임새와 논리가 존재하고 수학과 마찬가지로 '논리적 규격' 을 만들 순 있음
다만 그것이 절대적 기준이 될 수 없다는 것임 되려 그러한 기준을 제한함으로서 생기는 한계때문애 인공지능의 발전을 인류가 막는 2차적인 문제가 발생할 수 있으니까
결과를 정량화가 가능하기 때문임. 만약 핵융합 발전을 하는데, 여러가지 방법을 시도하고 나서 맞냐 안 맞냐를 따지는 방법은 생각보다 심플함. 몇 도에서 몇 분 동안 계속 핵융합을 진행했는가로. 인공지능은 결과의 정량화된 피드백을 통해서, 더 나은 방식을 계속 추구 할 수 있음 ㅇㅇ
'정량화된 피드백' 에 대한 평가기준도 결국은 인간이 하는게 아님?
모든,영원, 절대같은 단어를 들이밀면 신같은 추상적 개념 말고는 그무엇도 그걸 충족못함
ai가 인간의 정량화 기준들을 학습하면 스스로 레벨을 높여서, 인간의 직접적인 개입없이 계속 재귀개선 가능함. 물론, 맨 처음에는 인간이 부여한 기준이 필요한 건 맞고. 그것을 전문용어로 정렬이라고 함.
"자 그러면 현대 인간계 에서 연구되어져 있는 수학을 모두 익힌 어떤 인간 A가 골방에 갖혀서 얘가 큐스타로 추론하는 답변을 끊임없이 검수해서 자신의 수준을 완벽하게 따라온 어떤 수학 모델 을 만들어 냈다고 치자고 하지만 여기서 한가지 문제가 발생한다 정답에 대한 절대적인 평가를 할 수 없는 큐스타가 만든 자신의 합성데이터의 수준이 인간이 검수할 수 없을정도로 그 수준을 넘었다면 인간 A는 이제 합성데이터에대한 평가를 하기위한 자신의 한계를 뛰어넘는 고등사고를 요구하게 된다는것임 이렇게 된다면 합성데이터의 '옳고 그름' 에 대한 '평가딜레마' 가 발생해버림" 이 문제에 대해선 어떻게 생각함
인간의 규격을 뛰어넘을때 인공지능이 하는 사고가 '맞냐 아니냐' 를 판단할 수 있는 기준이 사라지게 된다면 그 뒤는 얘를 어떻게 평가해야함?
그런데 저 밑에 있는 댓글처럼 어떤 수학적 명제가 참인지 거짓인지 판별할 수 있는 알고리즘은 존재하지 않다는 것이 증명이 되어서 그 정도 수준까지 가면 인공지능 스스로가 판단해야 하지 않을까 한다
수 많은 인공지능들이 인해전술로 교차검증을 해서 가장 많이 나오는 답이 정답이겠군
ㅇㅇ 맞음 교차검증해야됌. 수많은 인공지능 뿐만 아니라 인공지능과 결합된 인간이 수행하는거 ㅇㅇ
AI끼리 아카이브 파서 서로 논문쓰고 평가해야겠노 - dc App
괴델의 불완전성 정리
그런데 재귀개선이 가능하다는 이야기는 인공지능 스스로 더욱 좋은 알고리즘이나 구조를 설계하는 것인데 이것만 해도 새로운 컴퓨터 과학 이론이나 수학들을 자기가 개척을 해야하는 거잖아. 그런데 당장에 gpt4한테 리만 가설 증명해달라고 하면 증명 못하겠다고 하는데 아직 그 레벨에는 진입 못 한게 아닐까
ai가 낸 결과물이 아무튼 신기술을 만들고 신물질을 찾고 수학 난제를 푸는 식으로 현실 문제 해결에 통하면 이게 진짜 맞는건진 모르겠는데 잘 되네요 ㅎㅎ 식으로 그냥 쓸수도 있음. 거대한 리만가설이 되는거지 반례하나 나오는 순간 좆될수 있으니 더 신중해지긴 하겠다만