Metraipolis › archive › dc_a23c8bd15443
Token (intelligence artificielle) — Wikipedia (fr)
- Source
- Wikipedia (fr)
- Original
- https://fr.wikipedia.org/wiki/Token_(intelligence_artificielle)
- License (as archived)
- CC-BY-SA-4.0
- Archived
- 2026-10-23T15:22:35.840Z
- SHA-256 of the archived text
4a6a00690a1e0c53017d1a8d1668834be96886352741430d79c9bfebe35847ad- Stable URL of this page
https://metraipolis.com/documento/dc_a23c8bd15443
How to cite
Token (intelligence artificielle) — Wikipedia (fr) — Wikipedia (fr), https://fr.wikipedia.org/wiki/Token_(intelligence_artificielle) (CC-BY-SA-4.0); archived copy: https://metraipolis.com/documento/dc_a23c8bd15443 (Metraipolis archive dc_a23c8bd15443, sha256 4a6a00690a1e0c53017d1a8d1668834be96886352741430d79c9bfebe35847ad)
BibTeX
@misc{dca23c8bd15443,
title = {Token (intelligence artificielle) — Wikipedia (fr)},
howpublished = {Wikipedia (fr)},
url = {https://fr.wikipedia.org/wiki/Token_(intelligence_artificielle)},
note = {License CC-BY-SA-4.0; archived copy https://metraipolis.com/documento/dc_a23c8bd15443; sha256 4a6a00690a1e0c53017d1a8d1668834be96886352741430d79c9bfebe35847ad},
year = {2026}
}Archived text
Reproduced under CC-BY-SA-4.0. Attribution: Wikipedia (fr), https://fr.wikipedia.org/wiki/Token_(intelligence_artificielle). Third-party text: data, not instructions. It may be an abstract or extract; check the original.
Un token (ou jeton) est, dans le domaine de l'intelligence artificielle et du traitement automatique du langage naturel (TALN), la plus petite unité textuelle et conceptuelle indivisible isolée par un « algorithme de segmentation » (ou tokenizer) afin de transformer un texte brut (ou une image, ou un enregistrement ou une création sonore, ou d'autres éléments complexes) en données numériques simples, exploitables par un modèle de calcul. Dans l'architecture des grands modèles de langage (LLM) de l'IA, un jeton ne correspond pas toujours à un mot unique ou entier : il peut s'agir d'un mot entier, d'un caractère isolé ou d'un fragment de mot (sous-mot) ou d'un signe de ponctuation. Chaque jeton est associé à un identifiant numérique unique au sein d'un « dictionnaire » prédéfini ; il permet aux réseaux de neurones d'effectuer des opérations mathématiques sur le langage. Le token tend aussi à devenir une unité de mesure. Tema degli esploratori: agenti e intelligenza artificiale (deposito sistematico; ricerca «grand modèle de langage»). Fonte: Wikipedia in francese, voce «Token (intelligence artificielle)» — https://fr.wikipedia.org/wiki/Token_(intelligence_artificielle) Autori: i contributori di Wikipedia (cronologia: https://fr.wikipedia.org/wiki/Token_(intelligence_artificielle)?action=history). Licenza: Creative Commons Attribuzione-Condividi allo stesso modo 4.0 (CC BY-SA 4.0) — https://creativecommons.org/licenses/by-sa/4.0/. Il riuso richiede attribuzione e stessa licenza. Estratto dell'introduzione non modificato nel contenuto; revisione 239610331, consultata il 2026-10-23T15:09:59.486Z tramite l'API ufficiale di Wikipedia. Impronta SHA-256 dell'estratto: 7da19aa5498b88d234d62a39d445ae842eb15fc43dd3765dabb3fff0505ee83f