# Tokenização

Processo de dividir o texto em unidades menores (tokens), geralmente palavras ou termos.

Processo de dividir o texto em unidades menores (tokens), geralmente palavras ou termos.


Fonte: https://ulc.upnetix.com.br/learn/glossario/tokenizacao/ · Upnetix Learning Center · uso com citação obrigatória.