얀 르쿤 팟캐스트를 보면서 약간 이해가 되기 시작했는데.
지금까지의 LLM은 예측 모델이라
프롬프트를 입력하면 즉각 반응한다.
사람도 단순한 질문은 즉각 반응한다. 개와 고양이 반응이다.
그 방식은 시스템 1 방식이라 AGI가 될 수 없다.
시스템 2는 추상적으로 인식하고 사고지연이 발생한다.
프롬프트에 의해 예측된 답변이 아니라
입력없이 사고하는 것이다.
시스템 1로 단순질문해도 시스템 2가 작동하면 답변에 지연이 생긴다.
그리고나서 창발이 일어나는 식이다.
큐스타 작동 방식이 시스템 2이고,
일리야가 본 것이 그것인 것 같고.
이걸 직접 눈으로 보고, 몇주정도 돌려보지 않으면 체감하기 힘들 것 같다.
다니엘 카너먼도
결과적으로 시스템 2가 어떻게 작동하는지 알 수 없다고 말했다.
큐스타도 어떻게 작동하는지 원리를 파악할 수는 없을 것이다.
그게 일리야의 천야드 시선을 유발하는거 같다.
개발을 총괄한 미라 무라티가 샘 알트만을 내쫓으려한 이유도 비슷할거고.
사람들은 이해할 수 없는 것을 발견했을때
그것을 두려워하는 사람에게는 안심하는 반면,
그것에 집착을 보이는 사람은 두려워한다.
클로드3가
사고지연이 있는 것 같다.
정렬에 자신있는
아모데이가 큐스타 방식의 BabyAGI 극초기모델을 테스트 허용했다나.
babyagi는 큐스타 비스무리한거 적용함?
autogpt보다 낫나
나도 그건 알수없는데, 컨셉 아니라면 출력 지연이 있는거 같아서. 극초기부터 그랬으니 컴퓨팅 문제는 아닌거같고. 아모데이는 AI안전분야 세계최고 권위자인데 컨셉질하진 않겠지.
구동방식이 다른 큐스타를 내놓을지, 에이전트 모델이나 멀티모달로 갈지 몰랐는데. 클로드3가 약간 다른 공략법을 취하면서 다음이 궁금하다. 4.5든 5든 나오면 비교가 되겟지. 자기들도 클로드3를 써보고 있을테니까.
시스템2에 대한 연구는 거의 기정사실이었지