[📪정보] 구글딥마인드, 제미니 1.5 pro로 벤치마크 98.4% 성공

[아스타리온(attempt1316)]

https://arxiv.org/abs/2501.09891

Evolving Deeper LLM Thinking

새로운 방식 Mind Evolution을 도입하여 비용 절감 및 이전보다 높은 문제 해결율을 보임

제미니 1.5 플래시 결과

Travel Planner 95.6%

meeting Planning 85%

제미니 1.5 플래시가 풀지 못한 문제는 1.5 프로로 재시도했는데

Travel Planner 100%

meeting Planning 98.4% 라는 결과가 나옴

또한 이 결과는 모두 미세조정 없이 나온것

+TMI

사실 전에 올렸던건데 내가 논문을 이해하지 못하고 요약을 이상한 부분만 해서 뭐가 왜 쩌는건지 드러내질 못한 탓에 그냥 뻘정보글이 됨

근데 가속화(accelerate)라는 레딧 그룹에서 한 서양특붕이가 쉽게 잘 설명해줬길래 그거 참고해서 좀 추하지만 재업함

[익명(220.89)]

아아...진123화여.. - dc App

[아스타리온(attempt1316)]

진...화여...!

[난모르것다(farewell1592)]

사고체인의 방식을 구체적으로 지시한거네 후보군들 쭉 생성해놓고 각각 스스로 평가한 다음 점수높은걸 추려라

[난모르것다(farewell1592)]

추론을 엄청 오래해야돼서 전기는 많이먹겠네 gpt pro 모델도 저런 방식인듯

[아스타리온(attempt1316)]

오 사고체인ㄷㄷ 설명ㄱㅅ

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[아스타리온(attempt1316)]

[익명(ancestor7224)]

[니지카엘(eltldd001)]

[아스타리온(attempt1316)]

[익명(hyeongim264)]

첨보는 벤치마크인데 저게 뭐임;;

[아스타리온(attempt1316)]

Travel Planner는 아마 이건거같고
https://tripplanner.ai/
Meeting
Planning은 이건듯??
https://www.nyota.ai/product/meeting-planning/

[ailover(photo7512)]

그니까 o1 preview 는 10퍼대인데, 구글은 90퍼대라는거지?

[아스타리온(attempt1316)]

그러하다

[ailover(photo7512)]

지리네.... 구글이 자체칩도 하고 모델도 잘 만드네 이제 ㅋㅋㅋ 똥트만 똥줄타것네

[익명(118.6)]

저건 대체 어떤 벤치임 뭘 기준으로 평가하는거지??

[아스타리온(attempt1316)]

확실하진않은데 윗윗댓글 참고

[바다기린(hancomputer)]

[아스타리온(attempt1316)]

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[아스타리온(attempt1316)]

[ㅇㅇㅇㅇㅇ(lsh0320jpgpw)]

이야 수치가 무슨

[아스타리온(attempt1316)]

ㄹㅇ 상상속에서만 봤던 수치

[디시콘발사대(fcbjsjmu1t9f)]

[아스타리온(attempt1316)]

[Borazine(player4081)]

[아스타리온(attempt1316)]