개인적으로 사용 중인 가로세로 벤치마크에서 좀 말이 안되는 점수가 나옴
보면 알겠지만 같은 회사 모델에서 더 작은 버전보다 점수가 낮은건 쟤 하나뿐임
2.0 flash 보다도 점수가 낮음
생성 예시 :
알겠습니다. '설레는마음'을 운으로 사용하여 가로세로 퍼즐 행시를 작성하겠습니다.
<PUZZLE>
설 설 파 밭 에 봄 눈
레 레 일 댄 넨 맘 속
는 는 개 켜 랑 만 개
마 마 음 봄 동 산 꽃
음 음 속 만 랑 꽃 동
</PUZZLE>
**해설**
* **설**설 파밭에 봄눈: 이른 봄, 파릇한 파밭에 내리는 눈 (설레는 시작)
* **레**일 댄 넨 맘속: 레일(rail)처럼 마음속에 새겨진 길, 댄(den)은 (마음속)
* **는**개 켜랑 만개: 냇가의 갯버들처럼 봄은 활짝 피어나고.
* **마**음 봄동산 꽃: 봄 동산에 핀 꽃처럼 설레는 마음 가득.
* **음**속 만랑 꽃동: 마음속에 가득 피어나는 꽃동산 (설렘의 절정)
제일 쉬운 5글자 운에서부터 박살이 남
원래 Gemini 모델들이 이걸 잘 못하긴하는데 얘는 좀 심함
X에서 봤을 때 2.0 pro exp가 2.0 pro 정식 버전의 초기 버전 체크포인트라고 구글 사람이 말한걸 봤는데
아직 다국어 학습이 덜 됐거나, 어딘가에 과적합이 됐다거나 한 것 같음
2.0 띵킹은 어떰
rate limit 자꾸 걸려서 안해봤는데 한번 해볼게
빨리해서 알려저ㅜ 궁금해 이상하게 웹에 띵킹은 분석자료가 거의 없어
2.0pro exp 보다 살짝 낮은 점수로 나옴
이거 완전 가로세로 연구소넨요
내가 써봐도 플래시 띵킹보다 크게 떨어지는거 같더라 - dc App
애초에 너무 잘 고장남 먹을걸로 논문써달라고 좀 볶기만 했는데 자꾸 당근흔들어 마지막에ㅋㅋ
소넷 다시봐도 신기하네
Gemini 쪽 모델들은 속도가 빠르고 싼건 좋은데 자주 출력이 망가지는게 심하더라. 입력한 프롬프트 내용을 똑같이 반복해서 출력하거나 의미없는 출력을 하는 경우가 너무 많아서 이것만 고치면 좋을 텐데