토크나이저를 e2e로 학습할 수 있는건 알겠고
BPE보다 더 language modelling을 잘 해낸다는 거
그리고 DNA 같은 데이터셋에서도 일반화가 잘 된다 뭐 이런 좋은 특징들은 알겠는데

토크나이저로 인해 생기는 문제들이 이걸로 어떻게 해결된다는 것인지가 직관적으로 잘 와닿지가 않네

예를 들어서 메타의 Byte latent transformer 같은 경우는 바이트 레벨 임베딩과 n그램 기반 임베딩을 해싱 이용해서 섞은걸 토큰 임베딩으로 쓰니까

오타로 문자 하나 뒤바뀌거나 스펠링 거꾸로 대보라거나 이런 기존 토크나이저 기반 모델에서 잘 안됐던 바이트 레벨 조작 태스크들에 대해 정확도가 얼마나 좋아진다 이런걸 보여줬었고 뭔가 직관적으로도 그런 정보가 들어갈 것 같았는데

그런 느낌이 뭔가 잘 안 오긴 하는데 멋진 아이디어 같긴 함
나중에 이걸로 학습된 체크포인트 돌려보면 뭐가 되고 뭐가 안되는지 더 명확히 알 수 있겠지 뭐