Å tokenisere tekstene i treningsprosessen med å trene en AI-modell for å lage poesi ved hjelp av TensorFlow- og NLP-teknikker tjener flere viktige formål. Tokenisering er et grunnleggende trinn i naturlig språkbehandling (NLP) som innebærer å bryte ned en tekst i mindre enheter kalt tokens. I tekstsammenheng innebærer tokenisering å dele opp tekstene