tokennizer 파라메터 값을 map 에서 넘겨줄려면 어떻게 줘야하나요?

args 가 안먹히고 검색을 해봐도 안나오네요...


def tokenize(batch, tokenizer): return tokenizer(batch["text"], padding= True, truncation=True)


emotions = load_dataset("emotion")

emotions_encoded = emotions.map(tokenize, batched=True, batch_size=None)