아직 정확한 방법은 안나왔으니
알파고 같은 강화 학습방법이라면 아래와 같지 않을까 싶음.
GPT-4 에이전트 1과
GPT-4 에이전트 2를 만드는데
에이전트 1은 기존 GPT-4의 신경망 가중치를 갖고 있고
에이전트 2는 가중치를 임의로 아주 약간 조금 바꾼 신경망 가중치를 갖고 있음.
이제 수학문제 100개를 던져놓고
경쟁해서 풀게함.
둘 중 더 점수가 높은 신경망 가중치를 갖는 애를 채택하고 다른 애를 폐기함.
또 채택된 신경망 가중치를 건드려서 에이전트 3을 만들고 경쟁시키고 ㅇㅇ
다른 수학문제 100개를 던져서 경쟁해서 풀게하고 점수 비교.
또 채택과 폐기 이것을 반복반복반복하면서
수학문제를 가장 잘푸는 신경망 가중치를 갖는 에이전트를 채택하기.
이 과정에서 수학문제를 잘 푸는 매커니즘을 찾아가는 것으로 보임.
그 “다른 수학문제” 가 GPT가 만든 수학문제일듯
이건 진화 알고리즘이지 - dc App
엄밀히 따지면 그런요소도 포함되지
근데 임의로 바꾸는 방식이 랜덤성이 너무 큰 것 같은데. 기존 학습은 loss라도 계산해서 가중치를 조정한건데, 이렇게 하면.............연산량이 너무 많이 필요하고 진짜 '운'으로 좋은 모델 나오길 바래야 하지 않을까. 물론, 가중치를 밋밋한 뇌라고 상상하고, 수학을 잘 하는 모델들이면 특정 부분의 가중치 변화가 크더라. 같은 느낌으로 뇌 특정 부분을 강화시키는....상상을 하면 뭐 되나 싶긴한데. 암튼 연산량이 너무 많이 필요해보여. 재밌는 상상이긴한데, 다른 방식 쓰지 않았을까 싶기도 하고. 뭐 경량화 시켰을 수도 있고. 뭐 어때! 이런 상상도 재밌으면 됐지.
수학에 민감한 가중치를 찾아내서 주로 바꾸는 식으로 학습을 조정했을 수도 있지. 그리고 글에는 1:1 에이전트 대결이라고 했지만, 한 번에 100개 이상의 GPT 에이전트 서바이벌 대결을 벌였을 수도 있고
그렇게 단순했다면 진즉해 했음
뭐든지 원리 자체는 단순하지. 노하우가 문제지 ㅇㅇ
넌 천재야 - dc App