Tokenization

Tokenization é o processo de dividir um texto em unidades menores chamadas tokens, como palavras ou símbolos.