로드할때마다 고유의 정수값을 부여하는데
import tensorflow_datasets as tfds
tokenizer = tfds.features.text.SubwordTextEncoder.build_from_corpus(
train_data['document'], target_vocab_size=2**13)
이 tokenizer 저장해서 불러오는 방법은 없나요?
로드할때마다 고유의 정수값을 부여하는데
import tensorflow_datasets as tfds
tokenizer = tfds.features.text.SubwordTextEncoder.build_from_corpus(
train_data['document'], target_vocab_size=2**13)
이 tokenizer 저장해서 불러오는 방법은 없나요?
그냥 인코딩 결과를 텍스트로 저장해뒀다가 불러오면 되는거긴 한데 굳이? 그렇게 할 이유가 없는데