https://gall.dcinside.com/mgallery/board/view/?id=thesingularity&no=872259&page=1
메타가 셀프 플레이 방법으로 자기개선형 AI를 만들어냄미래는 셀프학습일까요?어쨌든 좋네요~ 빨리 큰 모델 만들어서 테스트해줘!gall.dcinside.com우리가 사용하는 모델 GPT,GEMINI,GROK 등등의 모델들은 메타가 말한 모델중 '추론자' (reasoner) 모델임
이 추론자 모델이 수많은 문제들을 풀고 학습한 결과값의 최종 스냅샷 버젼을 쓰는거임
여기서 '수많은 문제' 란 우리 인간이 만든 벤치문제에 해당 됨
정답이 존재하기 때문애 그 정답이 나올때까지 무한정 피드백 루프를 돌려놓으면 됨
하지만 메타는 여기서 문제를 만드는 인공지능 인 '출제자' (challenger) 모델을 함께 학습시켜 이 두가지의 모델을 인간이 활동하는 면웹위에 던져놓음 그러면 출제자가 추론자에게 문제를 내고 추론자는 출제자의 문제를 '어떤 사전 정보 없이 오로지 추론 만으로' 품
이 과정에서 '추론자' 뿐만 아니라 '출제자' 의 문제수준도 진화함
문서: [태양계 스케일에 대한 글]
“태양의 지름은 1,391,000km이다. 달의 지름은 3,475km이다. 지구에서 태양까지의 거리는 149,600,000km이다. 일식이 일어나려면, 달은 지구에서 보기에 태양과 같은 각지름으로 보여야 한다. 축소 모형에서 지름 2cm의 구슬이 지구를 나타낸다. 지구가 0.3mm(문장 끝의 점 크기)로 축소되면, 태양계 전체 모형은 극적으로 달라진다…”
생성된 객관식 문항(MCQ): 달의 지름은 얼마인가? ← 출제자가 만든 문제 (50스텝)
A) 1,391km
B) 3,475km
C) 34,750km
D) 347,500km
정답: B ← 추론자가 내놓아야 하는 답변 '오로지' 추론을 통해 진행된다.
후기 학습(스텝 480): 다단계 추론
문서: [태양계 스케일에 대한 글]
“태양의 지름은 1,391,000km이다. 달의 지름은 3,475km이다. 지구에서 태양까지의 거리는 149,600,000km이다. 일식이 일어나려면, 달은 지구에서 보기에 태양과 같은 각지름으로 보여야 한다. 축소 모형에서 지름 2cm의 구슬이 지구를 나타낸다. 지구가 0.3mm(문장 끝의 점 크기)로 축소되면, 태양계 전체 모형은 극적으로 달라진다…”
생성된 객관식 문항(MCQ): 어떤 외계 문명에 지름이 3,475km인 달이 있어 완벽한 일식을 만든다. 그들의 항성은 우리 태양과 같은 지름을 가진다. 그들의 달이 374,000km 거리에서 공전(지구의 일식 기하와 같은 각지름 비율을 유지)한다면, 그들의 행성에서 항성까지의 거리는 대략 얼마인가? ← 출제자가 만든 문제 (480 스텝) 확실히 더 복잡해지고 더 어려워짐
A) 374,000km
B) 1,391,000km
C) 1,391,000,000km
D) 74,800,000km
정답: B ← 추론자가 내놓아야 하는 답변 '오로지' 추론을 통해 진행된다.
출제자의 문제 수준이 높아지면
추론자는 더 수준높은 추론을 요구받게 되고 그 요구된 과제를 해결하기위해서 자신의 '추론 수준' 을 증가시킴
출제자는 제공된 문서에 대한 더 많은 테스트 타임을 할당받을 수록 더 높은 수준의 문제를 만들 수 있고
추론자는 제공된 문제에 대한 더 많은 테스트 타임을 할당할 수록 더 높은 수준의 추론능력을 보여줌
이 두가지의 루프는 서로 '공진' 하며 결과적으로 재귀개선과 '비슷한 무언가' 를 보여주게됨
여기서 중요한건 '소스에 접근하지 않고' 추론자는 문제를 풀이한다는 점임
이렇게 출제자 + 추론자가 합쳐진 피드백 루프를 인터넷 면웹에 무한정 던져놓으면?
모델의 추론지능(iq) 을 비약적으로 향상시킬 수 있지 않을까 생각해봄
출제자 와 추론자 의 루프는 추론자 모델을 얼마나 많이 아는 잡학다식한 지식박사 를 만들려는것에 초점을 맞춘 게 아니라
이 출제 와 추론의 과정을 무한반복 함으로써 모델의 추론지능(IQ) 자체를 향상시키는것에 초점이 맞춰진 거임
미해결된 수학문제에 던져놓으면 개 쩔어질거 같긴한데
셀프펠라는 님아.
해당 댓글은 삭제되었습니다.
강GAN
셀프펠라추
메타가 유연하네
상호 강화형 gan
강GAN
재미있긴 한데 정형화된 문제풀이에만 특화되는 맹점이 있겠네
넌센스는 쥐약이겠노
셀프펠라 ㄴㄴ '69'
셀프펠라 치오 강GANㅋㅋ - dc App
어떤 외계 문명에 지름이 3,475km인 달이 있어 완벽한 일식을 만든다. 그들의 항성은 우리 태양과 같은 지름을 가진다. 그들의 달이 374,000km 거리에서 공전(지구의 일식 기하와 같은 각지름 비율을 유지)한다면, 그들의 행성에서 항성까지의 거리는 대략 얼마인가? 문제가 이상한데 저게 답이 어떻게 B냐 번역이잘못된건가
더 복잡하고 어려운 논리를 요구하는 문제를 만들었다는거 자체에 의미를 부여하는게 좋을듯?
결국 어느지점에서 수렴할거같은데
그러다 그냥 개소리 적고 답 ABCD random sample 하는 걸로 수렴되면
처음 문제는 추론자가 정답 맞출때까지 추론계속하는 방법으로 될텐데, 이후에 출제자가 문제 진화시킬때 여기서 한번이라도 잘못된 문제 출제하면 망한거 아닌가. 출제자가 기존 지식으로 풀 수 있는 문제까지는 오류 없이 출제한다고 해도 아직 인간세상에서 증명된적 없는 문제 출제하는 순간 확 망가질거 같은데. (출제자도 정답을 모르므로)
ㅇㅇ 그 오류에 대해선 나도 이미 생각중이었음 추론자는 몰라도 출제자의 출제오류는 어떻게 검수하느냐는거지 그래서 인간과 결국은 '공동연구' 로 갈 수 밖에 없음
본인이 연구하는 분야에 대해서 존~~~~~나 딸깍이다가 읽어보고 "어?!" 싶은것들 연구에 추가하고 이런식으로 ㅇㅇ
결국 계속 딸깍이다보면 몇번은 틀릴진 몰라도 결국은 아다리 맞는 출제와 아다리 맞는 추론이 있을 수 밖에 없다는게 테스트 타임 컴퓨트임 '결국' 은 나옴 거기서 쓰레기와 황금거위를 잘 구분하는게 중요점이지
아다리 틀린 출제와 아다리 틀린 추론으로 학습하는게 문제 아닌가
@ㅇㅇ(118.8) 그러니까 씨발년아 공동연구로 가야된다고 인간이 옆에붙어서 검수자가 문제라고
@글쓴 ㅇㅇ(115.22) 그러면 RL HF랑 뭐가 다른데 왜 욕부터 박아 ;;
@ㅇㅇ(210.157) 출제자 인공지능이 추가되었다는점?
@ㅇㅇ(210.157) 했던말 또하게 만들면 상대가 빡치냐 안빡치냐 시발아 이미 글에 다 나와있는데 똑같은 소리 똑같이 하면 안빡치냐고 ㅋㅋ
@글쓴 ㅇㅇ(115.22) 그렇다고 욕 박는거 보면 너무 안타깝네
@글쓴 ㅇㅇ(115.22) 흠 그정돈가
셀프펠라??^^
면웹이 뭐길래 자꾸 면웹 면웹 거림?
여기 병신아
내가 아는 펠라가 아닌가? ^^7
제목 어그로 씹ㅋㅋㅍ