[📪정보] ARC-AGI o3 튜닝에 대한 이야기

[익명(121.178)]

ARC-AGI 결과에서 tuned 라고 돼있는 부분때문에

o3를 만들고 그 모델은 ARC-AGI만 최적화되게 만든거 아니냐는 말들이 있어서 OAI에서 낸 입장임

설명으로보면, o3 모델을 학습할 때 전체 학습데이터 중 공개 학습데이터를 일부 포함한 것이고, 그 뒤에 따로 미세조정은 수행하지 않은걸로 보임

참고로 ARC-AGI에서는 공개 학습데이터를 어떻게 쓰던 상관하지 않음.

공개 학습데이터에서 배운걸 일반화할 수 있느냐가 벤치마크의 목적이었기 때문에

아예 ARC-AGI 데이터를 빼고 학습한 애는 어떨까 궁금하긴한데, 알 수는 없을듯

- dc official App

[니지카엘(eltldd001)]

[et(evgz6v8f9z)]

결론적으론 튜닝이 아니네 - dc App

[익명(121.178)]

yes - dc App

[익명(124.49)]

ㄴ 추가적인 파인튜닝을 안 한다 한거지 파인튜닝 맞고 캐글에서도 저런 추론 모델 아니고 공개 데이터만 이용해서 만든 모델 또한 굉장히 높은 성능을 보여줬음 저거는 솔직히 의미 없는 벤치인듯

[익명(121.178)]

일반적인 언어모델 기반에서 o3에 근접한 점수는 없음 - dc App

[익명(124.49)]

이미지 모델 쓴 다음에 언어 모델 쓰는 거여서 그렇게 말하는 게 의미가 없음

[익명(121.178)]

이미지모델을 쓴다는게 무슨 소리? - dc App

[익명(124.49)]

이미지를 텍스트로 변환한 다음에 언어 모델 쓰는거라고 ;; 언어모델만 갖다 놨는데 이미지는 어케 처리가 되겠냐

[익명(121.178)]

o3가 어떻게 arc agi 푸는지 전혀 모르는 친구였구나.. 그리고 미세조정한 것도 아니야. 좀 더 공부하자 - dc App

[ASI교총대주교좌석좌주교(7i3eogmeun4l7)]

ㄴㄴ 정확히는 vlm 모델이 이미지를 벡터로 변환하기 때문에 벡터 자체를 먹는거임. 임베딩 레이어가 텍스트를 벡터로 바꿔주듯이 vlm에 쓰이는 이미지 투 텍스트 혹은 이미지 투 벡터로 변환한 값을 가지고 RAG를 수행해서 추론하는 거

[ASI교총대주교좌석좌주교(7i3eogmeun4l7)]

튜닝한다해도 CoT에서 뺑끼 부리는게 들통나기 때문에 연구자들은 답지 외운건지 아닌지 알 수 있음