token

[ou jeton] En intelligence artificielle, unité fondamentale de données utilisée pour représenter une unité sémantique, telle qu’un mot ou un caractère, dans un texte. Les modèles de traitement du langage naturel et d’apprentissage automatique traitent souvent le texte en le divisant en tokens pour faciliter l’analyse. Chaque token est généralement associé à un identifiant unique dans un vocabulaire prédéfini. Cette représentation granulaire permet aux modèles d’apprendre des structures et des relations complexes dans le langage. Les tokens peuvent également être utilisés dans d’autres domaines de l’IA, comme la vision par ordinateur, pour représenter des objets ou des caractéristiques d’une image. La gestion efficace des tokens est cruciale pour l’entraînement et le déploiement des modèles d’IA, car elle impacte la complexité computationnelle et la performance du système.