[일반] 한글보다 영어가 토큰 효율성이 좋냐?

[익명(irritate5221)]

내용이 같아도 한글보다 영어로 입출력하는게 토큰 효율성이 뛰어남?

[ㅇㅇ 1(118.40)]

ㅇㅇ 차이 꽤 남

[ㅇㅇ 2(126.203)]

번역 안하는거만 해도 반은먹고들어감

[익명(compact5711)]

https://platform.openai.com/tokenizer
테스트해보셈