[일반] 제미니는 한국어 토크나이징을 잘 못하나?

[신화망상(bluemoon7744)]

하오체로 말해보라고 하면

클로바는 잘하고

GPT(코파일럿)는 정보 따로 주면 하는데

제미니는 정보를 줘도 개무시를 해버리네

얘 아직 한국어 형태소 분석할 줄 모르나?

[익명(landofooo)]

영어아닌 언어에서 뭔가 결함이 있는가보네

[익명(218.237)]

아마 이건 만든사람이 형태소 분석기를 간과했을거야

[익명(218.237)]

직접 LLM을 돌려보는데 한국어를 토큰 단위로 돌리면 효율이 무지막지하게 떨어지거든

[익명(218.237)]

그래서 토큰이 아니라 형태소단위로 돌리니까 효율이 존나 좋아짐

[신화망상(bluemoon7744)]

토큰이 형태소보다 작은 단위구나... 근데 형태소 단위로만 돌려도 종결어미 바꾸는 건 할 수 있어야 하지 않음?