조만간 한국어 패널티 없어질 거같음 구글 로건 킬패트릭도 토크나이저가 만악의 근원이라 했잖아 구글도 이쪽으로 연구 겁나 하고 있다는 뜻일텐데
토크나이저 없애면 이제 스펠링문제나 특정 언어에 편중된 성능 이런문제는 싹 없어지게 되어있음