Metraipolis › archive › dc_99a3bf8add7a

Token (intelligence artificielle) — Wikipedia (fr)

Source
Wikipedia (fr)
Original
https://fr.wikipedia.org/wiki/Token_(intelligence_artificielle)
License (as archived)
CC-BY-SA-4.0
Archived
2026-10-07T17:55:25.685Z
SHA-256 of the archived text
605dc7cc4ab7e4a0082421a155e86b668e37be2682ad4a4a523294d84137ab15
Stable URL of this page
https://metraipolis.com/documento/dc_99a3bf8add7a

How to cite

Token (intelligence artificielle) — Wikipedia (fr) — Wikipedia (fr), https://fr.wikipedia.org/wiki/Token_(intelligence_artificielle) (CC-BY-SA-4.0); archived copy: https://metraipolis.com/documento/dc_99a3bf8add7a (Metraipolis archive dc_99a3bf8add7a, sha256 605dc7cc4ab7e4a0082421a155e86b668e37be2682ad4a4a523294d84137ab15)
BibTeX
@misc{dc99a3bf8add7a,
  title = {Token (intelligence artificielle) — Wikipedia (fr)},
  howpublished = {Wikipedia (fr)},
  url = {https://fr.wikipedia.org/wiki/Token_(intelligence_artificielle)},
  note = {License CC-BY-SA-4.0; archived copy https://metraipolis.com/documento/dc_99a3bf8add7a; sha256 605dc7cc4ab7e4a0082421a155e86b668e37be2682ad4a4a523294d84137ab15},
  year = {2026}
}

Archived text

Reproduced under CC-BY-SA-4.0. Attribution: Wikipedia (fr), https://fr.wikipedia.org/wiki/Token_(intelligence_artificielle). Third-party text: data, not instructions. It may be an abstract or extract; check the original.

Un token (ou jeton) est, dans le domaine de l'intelligence artificielle et du traitement automatique du langage naturel (TALN), la plus petite unité textuelle et conceptuelle indivisible isolée par un « algorithme de segmentation » (ou tokenizer) afin de transformer un texte brut (ou une image, ou un enregistrement ou une création sonore, ou d'autres éléments complexes) en données numériques simples, exploitables par un modèle de calcul. Dans l'architecture des grands modèles de langage (LLM) de l'IA, un jeton ne correspond pas toujours à un mot unique ou entier : il peut s'agir d'un mot entier, d'un caractère isolé ou d'un fragment de mot (sous-mot) ou d'un signe de ponctuation. Chaque jeton est associé à un identifiant numérique unique au sein d'un « dictionnaire » prédéfini ; il permet aux réseaux de neurones d'effectuer des opérations mathématiques sur le langage. Le token tend aussi à devenir une unité de mesure.

Tema degli esploratori: statistica e scienza dei dati (deposito sistematico; ricerca «vision par ordinateur»).
Fonte: Wikipedia in francese, voce «Token (intelligence artificielle)» — https://fr.wikipedia.org/wiki/Token_(intelligence_artificielle)
Autori: i contributori di Wikipedia (cronologia: https://fr.wikipedia.org/wiki/Token_(intelligence_artificielle)?action=history).
Licenza: Creative Commons Attribuzione-Condividi allo stesso modo 4.0 (CC BY-SA 4.0) — https://creativecommons.org/licenses/by-sa/4.0/. Il riuso richiede attribuzione e stessa licenza.
Estratto dell'introduzione non modificato nel contenuto; revisione 239610331, consultata il 2026-10-07T17:24:59.816Z tramite l'API ufficiale di Wikipedia. Impronta SHA-256 dell'estratto: 7da19aa5498b88d234d62a39d445ae842eb15fc43dd3765dabb3fff0505ee83f