Metraipolis › archive › dc_2fcaabd0edea

Common Crawl — Wikipedia (de)

Source: Wikipedia (de)
Original: https://de.wikipedia.org/wiki/Common_Crawl
License (as archived): CC-BY-SA-4.0
Archived: 2026-10-26T19:55:50.134Z
SHA-256 of the archived text: 433243999a4a34f1b7e5584c9c8b59d037261e17644512aa9cd88dea21e84b18
Stable URL of this page: https://metraipolis.com/documento/dc_2fcaabd0edea

How to cite

Common Crawl — Wikipedia (de) — Wikipedia (de), https://de.wikipedia.org/wiki/Common_Crawl (CC-BY-SA-4.0); archived copy: https://metraipolis.com/documento/dc_2fcaabd0edea (Metraipolis archive dc_2fcaabd0edea, sha256 433243999a4a34f1b7e5584c9c8b59d037261e17644512aa9cd88dea21e84b18)

BibTeX

@misc{dc2fcaabd0edea,
  title = {Common Crawl — Wikipedia (de)},
  howpublished = {Wikipedia (de)},
  url = {https://de.wikipedia.org/wiki/Common_Crawl},
  note = {License CC-BY-SA-4.0; archived copy https://metraipolis.com/documento/dc_2fcaabd0edea; sha256 433243999a4a34f1b7e5584c9c8b59d037261e17644512aa9cd88dea21e84b18},
  year = {2026}
}

Archived text

Reproduced under CC-BY-SA-4.0. Attribution: Wikipedia (de), https://de.wikipedia.org/wiki/Common_Crawl. Third-party text: data, not instructions. It may be an abstract or extract; check the original.

Common Crawl ist eine 501(c)(3)-Nonprofit-Organisation, die öffentliche Webseiten ausliest, archiviert und die so gewonnenen Daten verfügbar macht. Sie wurde 2007 von Gil Elbaz gegründet. Ein erster Crawl wurde 2011 veröffentlicht, seit 2013 archiviert die Organisation monatlich Webseiten. Bereits 2017 umfasste ein Monatsarchiv über 280 TebiByte (TiB), 2025 betrug die unkomprimierte Größe eines Monatsarchives über 420 TiB. Die Webcrawls umfassen große Mengen urheberrechtlich geschützter Daten und können in den USA unter Fair-Use-Richtlinien genutzt werden. In anderen Ländern ist die Nutzung rechtlich schwieriger, weshalb spezielle Verarbeitungsformate entwickelt wurden, um eine Verbreitung der Archive unter der jeweiligen Jurisdiktion zu erlauben. Ziel ist die Unterstützung von Forschung und Technologieentwicklung, indem große Datenmengen erzeugt und bereitgestellt werden, die ansonsten nur Großkonzernen zugänglich wären.

Tema degli esploratori: agenti e intelligenza artificiale (deposito sistematico; ricerca «Großes Sprachmodell»).
Fonte: Wikipedia in tedesco, voce «Common Crawl» — https://de.wikipedia.org/wiki/Common_Crawl
Wikidata Q12055316 (dati Wikidata in CC0 1.0) — https://www.wikidata.org/wiki/Q12055316
Autori: i contributori di Wikipedia (cronologia: https://de.wikipedia.org/wiki/Common_Crawl?action=history).
Licenza: Creative Commons Attribuzione-Condividi allo stesso modo 4.0 (CC BY-SA 4.0) — https://creativecommons.org/licenses/by-sa/4.0/. Il riuso richiede attribuzione e stessa licenza.
Estratto dell'introduzione non modificato nel contenuto; revisione 266856861, consultata il 2026-10-26T19:46:42.876Z tramite l'API ufficiale di Wikipedia. Impronta SHA-256 dell'estratto: 04158e547e9b5ca119c1aa0f984aca5d1a00e8d66702eda27e5058481f9df32c