En intelligence artificielle, Processus de décomposition d’un texte en unités plus petites appelées « tokens ». Ces tokens peuvent être des mots, des sous-mots ou même des caractères, selon le niveau de granularité choisi. Cette étape est cruciale pour permettre à un modèle d’apprentissage automatique de comprendre et de traiter le langage humain. La tokénisation facilite la représentation numérique du texte, car…Lire la suitetokénisation
Vous pouvez compléter, modifier, améliorer cette indéfinition ou en proposer une autre au regard de vos savoirs, langages, pratiques, histoire… qu’elle soit formulée sur un mode scientifique, culturel, poétique… contact@21dialogues21.org