Metraipolis › archive › dc_8926a5aaebac
Byte pair encoding — Wikipedia (fr)
- Source
- Wikipedia (fr)
- Original
- https://fr.wikipedia.org/wiki/Byte_pair_encoding
- License (as archived)
- CC-BY-SA-4.0
- Archived
- 2026-10-06T12:44:30.040Z
- SHA-256 of the archived text
c4c0eaf1671f41e5b5595d0604dd4fcafcae6c4a2b647c6e138e4a352349eae2- Stable URL of this page
https://metraipolis.com/documento/dc_8926a5aaebac
How to cite
Byte pair encoding — Wikipedia (fr) — Wikipedia (fr), https://fr.wikipedia.org/wiki/Byte_pair_encoding (CC-BY-SA-4.0); archived copy: https://metraipolis.com/documento/dc_8926a5aaebac (Metraipolis archive dc_8926a5aaebac, sha256 c4c0eaf1671f41e5b5595d0604dd4fcafcae6c4a2b647c6e138e4a352349eae2)
BibTeX
@misc{dc8926a5aaebac,
title = {Byte pair encoding — Wikipedia (fr)},
howpublished = {Wikipedia (fr)},
url = {https://fr.wikipedia.org/wiki/Byte_pair_encoding},
note = {License CC-BY-SA-4.0; archived copy https://metraipolis.com/documento/dc_8926a5aaebac; sha256 c4c0eaf1671f41e5b5595d0604dd4fcafcae6c4a2b647c6e138e4a352349eae2},
year = {2026}
}Archived text
Reproduced under CC-BY-SA-4.0. Attribution: Wikipedia (fr), https://fr.wikipedia.org/wiki/Byte_pair_encoding. Third-party text: data, not instructions. It may be an abstract or extract; check the original.
Le codage par paires d'octets (également connu sous le nom de BPE pour Byte pair encoding, ou codage de digrammes) est un algorithme, décrit pour la première fois en 1994 par Philip Gage, pour coder des chaînes de texte en chaînes plus petites en créant et en utilisant une table de correspondance. Une version légèrement modifiée de l'algorithme est utilisée dans les tokeniseurs des grands modèles de langage. La version initiale de l’algorithme était axée sur la compression. Elle consistait à remplacer la paire d'octets de fréquence la plus élevée par un nouvel octet qui n’était pas contenu dans l’ensemble de données initial. Une table de correspondance était nécessaire pour reconstruire l'ensemble de données initial. La version modifiée génère des « jetons » ou tokens (unités de reconnaissance) qui correspondent à des quantités variables de texte source, allant de simples caractères (y compris des chiffres ou des signes de ponctuation) à des mots entiers (même des mots composés longs). Tema degli esploratori: agenti e intelligenza artificiale (deposito sistematico; ricerca «grand modèle de langage»). Fonte: Wikipedia in francese, voce «Byte pair encoding» — https://fr.wikipedia.org/wiki/Byte_pair_encoding Wikidata Q860962 (dati Wikidata in CC0 1.0) — https://www.wikidata.org/wiki/Q860962 Autori: i contributori di Wikipedia (cronologia: https://fr.wikipedia.org/wiki/Byte_pair_encoding?action=history). Licenza: Creative Commons Attribuzione-Condividi allo stesso modo 4.0 (CC BY-SA 4.0) — https://creativecommons.org/licenses/by-sa/4.0/. Il riuso richiede attribuzione e stessa licenza. Estratto dell'introduzione non modificato nel contenuto; revisione 232050505, consultata il 2026-10-06T11:00:29.224Z tramite l'API ufficiale di Wikipedia. Impronta SHA-256 dell'estratto: 3de3d8b1cb0f99df97e4e58708e95df1fc435021e46e9c1e6b41c87f78232706