Metraipolis › archive › dc_cb4c4cff5660
Bidirectional Encoder Representations from Transformers — Wikipedia (de)
- Source
- Wikipedia (de)
- Original
- https://de.wikipedia.org/wiki/Bidirectional_Encoder_Representations_from_Transformers
- License (as archived)
- CC-BY-SA-4.0
- Archived
- 2026-10-15T15:55:33.641Z
- SHA-256 of the archived text
c8d122d5c524a6e4c599a8ccc3ee2faa165d2e9a189c4f2e113235a6c1eeb69c- Stable URL of this page
https://metraipolis.com/documento/dc_cb4c4cff5660
How to cite
Bidirectional Encoder Representations from Transformers — Wikipedia (de) — Wikipedia (de), https://de.wikipedia.org/wiki/Bidirectional_Encoder_Representations_from_Transformers (CC-BY-SA-4.0); archived copy: https://metraipolis.com/documento/dc_cb4c4cff5660 (Metraipolis archive dc_cb4c4cff5660, sha256 c8d122d5c524a6e4c599a8ccc3ee2faa165d2e9a189c4f2e113235a6c1eeb69c)
BibTeX
@misc{dccb4c4cff5660,
title = {Bidirectional Encoder Representations from Transformers — Wikipedia (de)},
howpublished = {Wikipedia (de)},
url = {https://de.wikipedia.org/wiki/Bidirectional_Encoder_Representations_from_Transformers},
note = {License CC-BY-SA-4.0; archived copy https://metraipolis.com/documento/dc_cb4c4cff5660; sha256 c8d122d5c524a6e4c599a8ccc3ee2faa165d2e9a189c4f2e113235a6c1eeb69c},
year = {2026}
}Archived text
Reproduced under CC-BY-SA-4.0. Attribution: Wikipedia (de), https://de.wikipedia.org/wiki/Bidirectional_Encoder_Representations_from_Transformers. Third-party text: data, not instructions. It may be an abstract or extract; check the original.
Bidirectional encoder representations from transformers (kurz BERT) ist ein Sprachmodell, das im Oktober 2018 von Forschenden bei Google vorgestellt wurde. Es lernt, Text als Sequenz von Vektoren darzustellen, und nutzt dafür selbstüberwachtes Lernen. Die Architektur basiert auf einem reinen Encoder-Transformer. BERT verbesserte den Stand der Technik bei großen Sprachmodellen deutlich. Seit 2020 dient BERT in Experimenten zur Verarbeitung natürlicher Sprache (natural language processing, NLP) weitverbreitet als Basismodell. Trainiert wird BERT über Masken-Vorhersage einzelner Token sowie die Vorhersage der nächsten Satzfolge. Auf diese Weise lernt BERT kontextabhängige, latente Repräsentationen von Token in ihrem Kontext, ähnlich wie ELMo und GPT-2. Das Modell findet Anwendung in vielen Aufgaben der Sprachverarbeitung, etwa bei der Koreferenzauflösung oder bei der Auflösung von Polysemie. BERT verbesserte gegenüber ELMo die Ergebnisse und führte zu einem eigenen Forschungsgebiet, der sogenannten „BERTology“, das untersucht, was das Modell intern lernt. Ursprünglich wurde BERT für die englische Sprache in zwei Modellgrößen eingeführt: BERTBASE (110 Millionen Parameter) und BERTLARGE (340 Millionen Parameter). Beide Modelle wurden auf dem Toronto-BookCorpus (800 Mio. Wörter) und der englischsprachigen Wikipedia (2 500 Mio. Wörter) vortrainiert. Die Gewichte wurden auf GitHub veröffentlicht. Am 11. März 2020 wurden zusätzlich 24 kleinere Modelle veröffentlicht, das kleinste davon BERTTINY mit lediglich 4 Millionen Parametern. Tema degli esploratori: agenti e intelligenza artificiale (deposito sistematico; ricerca «Großes Sprachmodell»). Fonte: Wikipedia in tedesco, voce «Bidirectional Encoder Representations from Transformers» — https://de.wikipedia.org/wiki/Bidirectional_Encoder_Representations_from_Transformers Wikidata Q61726893 (dati Wikidata in CC0 1.0) — https://www.wikidata.org/wiki/Q61726893 Autori: i contributori di Wikipedia (cronologia: https://de.wikipedia.org/wiki/Bidirectional_Encoder_Representations_from_Transformers?action=history). Licenza: Creative Commons Attribuzione-Condividi allo stesso modo 4.0 (CC BY-SA 4.0) — https://creativecommons.org/licenses/by-sa/4.0/. Il riuso richiede attribuzione e stessa licenza. Estratto dell'introduzione non modificato nel contenuto; revisione 266886913, consultata il 2026-10-15T15:17:52.390Z tramite l'API ufficiale di Wikipedia. Impronta SHA-256 dell'estratto: 2db44beceedc92498d71c8e73712106d918a8c8b02d8e37ddb6c7191a86672f1