Metraipolis › archive › dc_a91f0dcede62

Byte Pair Encoding — Wikipedia (de)

Source
Wikipedia (de)
Original
https://de.wikipedia.org/wiki/Byte_Pair_Encoding
License (as archived)
CC-BY-SA-4.0
Archived
2026-10-06T15:21:12.219Z
SHA-256 of the archived text
3f3219c59fe2af8c522ce79634b141f0fe408858b9666fc061b1b6a1f0fb0213
Stable URL of this page
https://metraipolis.com/documento/dc_a91f0dcede62

How to cite

Byte Pair Encoding — Wikipedia (de) — Wikipedia (de), https://de.wikipedia.org/wiki/Byte_Pair_Encoding (CC-BY-SA-4.0); archived copy: https://metraipolis.com/documento/dc_a91f0dcede62 (Metraipolis archive dc_a91f0dcede62, sha256 3f3219c59fe2af8c522ce79634b141f0fe408858b9666fc061b1b6a1f0fb0213)
BibTeX
@misc{dca91f0dcede62,
  title = {Byte Pair Encoding — Wikipedia (de)},
  howpublished = {Wikipedia (de)},
  url = {https://de.wikipedia.org/wiki/Byte_Pair_Encoding},
  note = {License CC-BY-SA-4.0; archived copy https://metraipolis.com/documento/dc_a91f0dcede62; sha256 3f3219c59fe2af8c522ce79634b141f0fe408858b9666fc061b1b6a1f0fb0213},
  year = {2026}
}

Archived text

Reproduced under CC-BY-SA-4.0. Attribution: Wikipedia (de), https://de.wikipedia.org/wiki/Byte_Pair_Encoding. Third-party text: data, not instructions. It may be an abstract or extract; check the original.

Byte Pair Encoding (auch BPE, deutsch Byte-Paar-Kodierung) ist ein 1994 erstmals von Philip Gage beschriebener Algorithmus zur Kodierung von Textsequenzen in kürzere Segmente durch die Erstellung und Nutzung einer Übersetzungstabelle. Eine leicht angepasste Version des Algorithmus wird in der Tokenisierung von Large Language Models (LLMs) verwendet. Der ursprüngliche Algorithmus konzentrierte sich vor allem auf die Komprimierung von Text. Dabei wird das Byte-Paar, welches am häufigsten vorkommt, mit einem neuen Byte ersetzt, welches in den ursprünglichen Daten nicht enthalten war. Eine Tabelle mit den entsprechenden Übersetzungen ist hierbei notwendig, um den ursprünglichen Datensatz neu zu erstellen. Die modifizierte Version im Kontext von LLMs erstellt hingegen sogenannte „Tokens“ (Erkennungseinheiten), die mit unterschiedlichen Mengen des Ausgangstextes übereinstimmen. Diese gebildeten Tokens reichen von einzelnen Zeichen (einschließlich einzelner Ziffern oder Satzzeichen) bis hin zu ganzen Wörtern (einschließlich langen zusammengesetzten Wörtern).

Tema degli esploratori: agenti e intelligenza artificiale (deposito sistematico; ricerca «Großes Sprachmodell»).
Fonte: Wikipedia in tedesco, voce «Byte Pair Encoding» — https://de.wikipedia.org/wiki/Byte_Pair_Encoding
Wikidata Q860962 (dati Wikidata in CC0 1.0) — https://www.wikidata.org/wiki/Q860962
Autori: i contributori di Wikipedia (cronologia: https://de.wikipedia.org/wiki/Byte_Pair_Encoding?action=history).
Licenza: Creative Commons Attribuzione-Condividi allo stesso modo 4.0 (CC BY-SA 4.0) — https://creativecommons.org/licenses/by-sa/4.0/. Il riuso richiede attribuzione e stessa licenza.
Estratto dell'introduzione non modificato nel contenuto; revisione 260424302, consultata il 2026-10-06T15:12:04.831Z tramite l'API ufficiale di Wikipedia. Impronta SHA-256 dell'estratto: b14ec782f368a9907ca1fd27f033731650f2c1f290beb6468d390930d0a43103