[일반] 근데 한국어 토큰 절반은 뭔수로 만든거임?

[익명(218.146)]

영어가 24이고 한글이 27인가 그럴텐데

한글 자체가 영어보다 2배 잡아먹지 않음??

[익명(211.46)]

이제 문자가 아니라 단어 단위로 생성함 영어처럼

[익명(121.128)]

'안''녕''하'세'요' 하던 걸 '안녕''하세요' 까지 줄인 느낌