Metraipolis › archive › dc_f2b37cb4ccda

Entropieschätzung — Wikipedia (de)

Source: Wikipedia (de)
Original: https://de.wikipedia.org/wiki/Entropiesch%C3%A4tzung
License (as archived): CC-BY-SA-4.0
Archived: 2026-11-06T10:31:59.791Z
SHA-256 of the archived text: 09d79c31c97f95f81922d5ebd75bfd35c6797c900ed83c824e6afcee7387e6bb
Stable URL of this page: https://metraipolis.com/documento/dc_f2b37cb4ccda

How to cite

Entropieschätzung — Wikipedia (de) — Wikipedia (de), https://de.wikipedia.org/wiki/Entropiesch%C3%A4tzung (CC-BY-SA-4.0); archived copy: https://metraipolis.com/documento/dc_f2b37cb4ccda (Metraipolis archive dc_f2b37cb4ccda, sha256 09d79c31c97f95f81922d5ebd75bfd35c6797c900ed83c824e6afcee7387e6bb)

BibTeX

@misc{dcf2b37cb4ccda,
  title = {Entropieschätzung — Wikipedia (de)},
  howpublished = {Wikipedia (de)},
  url = {https://de.wikipedia.org/wiki/Entropiesch%C3%A4tzung},
  note = {License CC-BY-SA-4.0; archived copy https://metraipolis.com/documento/dc_f2b37cb4ccda; sha256 09d79c31c97f95f81922d5ebd75bfd35c6797c900ed83c824e6afcee7387e6bb},
  year = {2026}
}

Archived text

Reproduced under CC-BY-SA-4.0. Attribution: Wikipedia (de), https://de.wikipedia.org/wiki/Entropiesch%C3%A4tzung. Third-party text: data, not instructions. It may be an abstract or extract; check the original.

Das Themengebiet der Entropieschätzung befasst sich mit den unterschiedlichen Methoden für die statistische Schätzung der Shannon-Entropie auf der Basis von endlichen Stichproben. Für die formale Berechnung der Shannon-Entropie ist gemäß Definition die Kenntnis der Wahrscheinlichkeiten der zugrunde liegenden Nachrichtenquelle notwendig. Jedoch sind in der Praxis diese Wahrscheinlichkeiten meistens unbekannt, und man ist darauf angewiesen, die Wahrscheinlichkeiten der Nachrichten aus einer vorgegebenen endlichen Stichprobe zu schätzen, um damit auf die Entropie der Gesamtheit zu schließen. Aufgrund der naturgegebenen statistischen Schwankungen in endlichen Stichproben sind dabei systematische und unsystematische Abweichungen bei den Schätzungen zu erwarten. Bei dem gewöhnlichen Maximum-Likelihood-Schätzer für die Entropie werden die Wahrscheinlichkeiten p i {\displaystyle p_{i}} , i = 1 , 2 , … , K {\displaystyle i=1,2,\ldots ,K} , in der Shannon-Entropie H = − ∑ i = 1 K p i ln p i {\displaystyle H=-\sum _{i=1}^{K}p_{i}\ln p_{i}} , durch die Maximum-Likelihood-Schätzer p ^ i {\displaystyle {\hat {p}}_{i}} ersetzt. Erscheint im Falle von insgesamt N {\displaystyle N} Beobachtungen das Ereignis i {\displaystyle i} mit einer absoluten Häufigkeit von n i {\displaystyle n_{i}} , so führt die Verwendung von p ^ i = n i / N {\displaystyle {\hat {p}}_{i}=n_{i}/N} zu dem in der Praxis häufig verwendeten Maximum-Likelihood-Schätzer für die Entropie H ^ = − ∑ i = 1 K p ^ i ln p ^ i . {\displaystyle {\hat {H}}=-\sum _{i=1}^{K}{\hat {p}}_{i}\ln {\hat {p}}_{i}.} Dieser Schätzer ist aus statistischer Sicht besonders geeignet, wenn die Stichprobe sehr viel größer als die mögliche Anzahl der unterschiedlichen Ereignisse ist, d. h. N ≫ K {\displaystyle \textstyle N\gg K} gegeben ist. Andernfalls führt der obige Schätzer oft zu einer systematischen Unterschätzung der Entropie. Dieser Fehler wird besonders dann merklich, wenn der Umfang N {\displaystyle N} der Stichprobe nicht sehr viel größer als die Anzahl K {\displaystyle K} der unterschiedlichen Nachrichten der Quelle ist. In der Praxis ist jedoch letzteres oft von besonderem Interesse.

Tema degli esploratori: scibile generale (retro-catalogo completo della fonte, senza filtro di tema) (deposito sistematico; retro-catalogo: tutte le voci di Wikipedia in tedesco, in ordine alfabetico).
Fonte: Wikipedia in tedesco, voce «Entropieschätzung» — https://de.wikipedia.org/wiki/Entropiesch%C3%A4tzung
Wikidata Q1345207: «methods of estimating differential entropy given some observations» (dati Wikidata in CC0 1.0) — https://www.wikidata.org/wiki/Q1345207
Autori: i contributori di Wikipedia (cronologia: https://de.wikipedia.org/wiki/Entropiesch%C3%A4tzung?action=history).
Licenza: Creative Commons Attribuzione-Condividi allo stesso modo 4.0 (CC BY-SA 4.0) — https://creativecommons.org/licenses/by-sa/4.0/. Il riuso richiede attribuzione e stessa licenza.
Estratto dell'introduzione non modificato nel contenuto; revisione 264489575, consultata il 2026-11-06T10:28:36.257Z tramite l'API ufficiale di Wikipedia. Impronta SHA-256 dell'estratto: b3397a55fd9b4033bacb309f16a5cb2596ec41d3bde55726b36712f67090e588