[일반] 영한 토큰 비교

[익명(121.190)]

[익명(14.35)]

2~2.5배정도 차이라던데

[ㅁㄱㅌㅊ(antym)]

비트로 보면 이렇게까진 차이 안나는데 이유가 뭘까... - dc App

[익명(222.119)]

머신러닝에 쓰이는 토큰이 영어에 최적화되어있어서 한글에 최적화 되어있으면 널 사랑해도 "널", "사랑","해"나 "사랑해" 이렇게 2~3토큰도 가능한데 그게 아니라서 그럼 영어기준으로 해놓은걸 한글로 끼워맞추니 한글자도 여러개로 찢어버려야하지

[ㅁㄱㅌㅊ(antym)]

그렇군... - dc App