STEM이라고 해야할지 말아야할지 정확히 모르겠는데

예전에 o3 나왔을 때 catastrophic forgetting, 그러니까 학습할수록 언어모델이 지식을 잊어버리는 현상에 대해서

여러 논문 아이디어를 짜깁기한 다음 아이디어를 제안하라고 한 적이 있음


그걸 이용해서 이번에 grok4 API한테 똑같은 질문을 한 다음

서로한테 해당 제안을 반박하고 더 나은 제안을 해보라고 했음

참고로 search config 켜고 한거임



1. grok4가 제안 -> o3가 반박


https://chatgpt.com/share/686f8fa0-1d50-8008-ab5a-ab8249a7388d


ChatGPT - Catastrophic Forgetting and UnlearningShared via ChatGPTchatgpt.com


2. o3가 제안 -> grok4가 반박


o3가 제안한 내용


https://chatgpt.com/s/t_686f90541fcc81919ba4fbdbe7e192d5


grok4에게 반박하라고 시킨 다음 api로 응답을 받음 -> 그 다음 4.1한테 마크다운에 맞게 재작성하라고 시킴


https://chatgpt.com/share/686f9029-933c-8008-ac81-0a7cc73f1a61


ChatGPT - Critique and Research ProposalShared via ChatGPTchatgpt.com



내용이 너무 길고 복잡해서 정확한지 일일이 검증하기는 어렵고 (거의 한두시간은 걸릴듯)

글과 내용만 봤을때 o3가 낫다고 생각한 이유는


1. 좀 더 정확한 개념을 사용하고 레퍼런스를 더 정확히 언급하며 반박함

 -> PGD-style optimization은 제안서에 적힌 것보다 훨씬 계산량을 많이 사용한다는 실제 연구를 들어 반박


2. grok4는 누구나 알법한 뭉뚱그리는 소리를 하는편임

 -> 임베딩 차원에서의 클러스터링은 saliency estimation을 하기에는 정밀도가 충분하지 않다

    -> 당연한 소리이지만 그럼 아직도 텍스트 임베딩 만드는건 바보라서 하나? 대안이 없어서 그렇지


3. 새로 제안한 내용은 o3가 훨씬 나음

-> grok4는 influence가 suddenly drop하는 데이터를 invert하는 학습방법을 제안함 -> 다시 읽어보니까 task data들에 대한 loss가 평균적으로 gradient update 크기에 비해 크게 낮아지지 않는지 패널티를 주는 방법을 제안한건데, 원래 제안방법보다는 낫지만 o3가 제안한게 여전히 훨씬 나음 직접적인 task performance를 측정하는거보단 task parameter간의 orthogonality가 훨씬 generlize가능한 방법임

-> o3는 여러 task data들의 cluster들의 low-rank subspace에 대한 orthogonality를 계산하는 loss를 penalty로 놓으라 함

  -> grok4는 사실상 새로운 제안을 한게 아니고, o3는 LLM이 각 task가 서로 이질적임을 잊지 않아야 한다는 직관을 새로 내놓음


내 생각엔 grok4는 grok3에서 한 반발짝은 앞섰는데 그래봐야 o3보다 한체급 낮음 이걸로 stem 이겼다는건 말이 안된다 생각함