[일반] 클로드 벤치마크 볼때마다 진짜 소름끼침

[익명(211.46)]

제로샷 개수봐 성능 벤치마크 뻥튀기 거의 안했어
언플 마케팅용도가 아니라 티배깅용 벤치마크야

[ㅍ(121.153)]

미안한데 제로샷이 뭐임? 설명좀

[익명(211.46)]

문제에 대한 정보 없이 추론해서 한방에 맞추는거

[익명(211.46)]

미리 문제를 선행학습으로 학습시키거나 학습 데이터에 들어있다면 제로샷이 아님

[익명(123.100)]

예시 없이 풀게하는거임. 5샷은 그 벤치마크가 어떤 느낌인지 모델한테 5개 문제정도를 인풋으로 같이 넣어주는거고 0샷은 그런거 없이 문제만 물어보는거 - dc App

[빙냥이ㄱㅇㅇ(6zd2cxvc44h4)]

gpt-4 터보가 아니라 초창기 모델 벤치인 건 인지해야 함

[익명(211.46)]

터보보다 gpt4가 퍼포먼스가 더 좋은곳이 많긴 함 chatgpt로 비교하려다보니 이런거같은데 터보도 같이 비교하면 좋았을것같다