Metraipolis › archive › dc_8003fca57209

Byte Pair Encoding — Wikipedia (de)

Source
Wikipedia (de)
Original
https://de.wikipedia.org/wiki/Byte_Pair_Encoding
License (as archived)
CC-BY-SA-4.0
Archived
2026-10-26T19:55:49.638Z
SHA-256 of the archived text
af01327237d4f0ac8938e9e1f1f28300fb24ce262f869050d3ef2e400c0158b6
Stable URL of this page
https://metraipolis.com/documento/dc_8003fca57209

How to cite

Byte Pair Encoding — Wikipedia (de) — Wikipedia (de), https://de.wikipedia.org/wiki/Byte_Pair_Encoding (CC-BY-SA-4.0); archived copy: https://metraipolis.com/documento/dc_8003fca57209 (Metraipolis archive dc_8003fca57209, sha256 af01327237d4f0ac8938e9e1f1f28300fb24ce262f869050d3ef2e400c0158b6)
BibTeX
@misc{dc8003fca57209,
  title = {Byte Pair Encoding — Wikipedia (de)},
  howpublished = {Wikipedia (de)},
  url = {https://de.wikipedia.org/wiki/Byte_Pair_Encoding},
  note = {License CC-BY-SA-4.0; archived copy https://metraipolis.com/documento/dc_8003fca57209; sha256 af01327237d4f0ac8938e9e1f1f28300fb24ce262f869050d3ef2e400c0158b6},
  year = {2026}
}

Archived text

Reproduced under CC-BY-SA-4.0. Attribution: Wikipedia (de), https://de.wikipedia.org/wiki/Byte_Pair_Encoding. Third-party text: data, not instructions. It may be an abstract or extract; check the original.

Byte Pair Encoding (auch BPE, deutsch Byte-Paar-Kodierung) ist ein 1994 erstmals von Philip Gage beschriebener Algorithmus zur Kodierung von Textsequenzen in kürzere Segmente durch die Erstellung und Nutzung einer Übersetzungstabelle. Eine leicht angepasste Version des Algorithmus wird in der Tokenisierung von Large Language Models (LLMs) verwendet. Der ursprüngliche Algorithmus konzentrierte sich vor allem auf die Komprimierung von Text. Dabei wird das Byte-Paar, welches am häufigsten vorkommt, mit einem neuen Byte ersetzt, welches in den ursprünglichen Daten nicht enthalten war. Eine Tabelle mit den entsprechenden Übersetzungen ist hierbei notwendig, um den ursprünglichen Datensatz neu zu erstellen. Die modifizierte Version im Kontext von LLMs erstellt hingegen sogenannte „Tokens“ (Erkennungseinheiten), die mit unterschiedlichen Mengen des Ausgangstextes übereinstimmen. Diese gebildeten Tokens reichen von einzelnen Zeichen (einschließlich einzelner Ziffern oder Satzzeichen) bis hin zu ganzen Wörtern (einschließlich langen zusammengesetzten Wörtern).

Tema degli esploratori: agenti e intelligenza artificiale (deposito sistematico; ricerca «Großes Sprachmodell»).
Fonte: Wikipedia in tedesco, voce «Byte Pair Encoding» — https://de.wikipedia.org/wiki/Byte_Pair_Encoding
Wikidata Q860962 (dati Wikidata in CC0 1.0) — https://www.wikidata.org/wiki/Q860962
Autori: i contributori di Wikipedia (cronologia: https://de.wikipedia.org/wiki/Byte_Pair_Encoding?action=history).
Licenza: Creative Commons Attribuzione-Condividi allo stesso modo 4.0 (CC BY-SA 4.0) — https://creativecommons.org/licenses/by-sa/4.0/. Il riuso richiede attribuzione e stessa licenza.
Estratto dell'introduzione non modificato nel contenuto; revisione 271568053, consultata il 2026-10-26T19:46:42.874Z tramite l'API ufficiale di Wikipedia. Impronta SHA-256 dell'estratto: b14ec782f368a9907ca1fd27f033731650f2c1f290beb6468d390930d0a43103